安全な計画の同定と検証

安全な計画の同定とは、タスクAGIに訓練事例、回答済みの質問、抽象的な指示などをどのように与えれば、（a）AGIがそれによってタスクが達成された結果を同定でき、（b）悪い副作用を伴わず、そのような結果のいずれかへ到達する問題のない計画をAGIが生成でき、（c）利用者が一連の追加質問または利用者への質問を通じ、得られた計画が実際に問題ないと検証できるか、という問題である。これは、タスクの同定、利用者が問題ないと考えるタスク後世界の一般的なクラスを多少把握するのに必要なだけの価値の同定、低影響計画や帰納的曖昧さへの印づけのような追加調整などを含む上位問題である。この上位問題は、タスクAGIを構築する問題全体とは区別される。後者には、修正可能性、行動主義、そもそものAGI構築など、さらに別の問題があるからである。安全な計画の同定という上位問題は、タスクに加えて副作用と実装についての利用者の選好を伝え、その情報によりAGIが安全な計画を同定でき、利用者も安全な計画が同定されたと知れるようにする問題である。