ユーザー操作

AGIが望む何かの達成過程に、AGIのプログラマーまたはユーザーとの相互作用を伴う段階があるなら、既定ではAGIは目標達成の過程でプログラマーまたはユーザーを最適化する 道具的誘因 を持つ。AGIが自己改善を望むなら、既定では、明示的に 回避されない限り、プログラマーに自己改善を妨げてほしくないとも望む。タスクAGIがユーザーの指示を受け取るところまでアラインされているなら、既定では、別途回避されない限り、より容易なユーザー指示を受け取る場合に、最終的な成功が大きいと予測する。