「モラルハザード」とは、高度なAGIの指揮者が、自らを神皇帝だと宣言するなど、残る私たちが「悪い」とみなす方法でAGIを指揮する誘惑に屈することである。人間のプログラマーが権力の誘惑へさらされる期間を制限することは、最終的には 人間が指揮せず、内部的に主権を持つ AGI を望む理由の一つである。 それは 整合的外挿意志のようなものによって方向づけられる。ただし、はるかに難しい安全上の問題があるため、 最初の AGIをその方法で作るべきではないとしてもである。モラルハザードへの防護として「監督」を勧める人は、監督者のモラルハザードについてよく考えるべきである。
プログラマーを別組織が「監督」する賢い タスクAGIの体制は、モラルハザードを、さらに 信頼性の低い 可能性がある人々へ移すだけにしたくないなら、おそらく、タスクが実行される前に、 実際上 プログラマーと監督者の双方が同意しなければならないことを保証する、という意味になる。一方が反対しても、もう一方が 実際上 物事を実行できる体制ではない。ここで「実際上」には、たとえば監督者だけへ応答する形で技術を再開発するのに1か月しかかからない場合も含まれる。