このページは、真であるなら、 十分に高度な人工知能から良い結果を得る課題を最終的に難しくする原因となる、コンピュータ科学の基本命題を列挙しようとする。
「難しさ」
これらの命題が真なら「難しさ」を含意するように見えると言うとき、問題が解決不能だと示唆するつもりはない。「難しさ」のありうる段階は次のように区別できる。
- 問題は直接的に解決できるが、実際に解決しなければならない。
- 問題は事前に予見すれば直接的に解決できるが、初期の現れ方では一般解を 強制 しない。後の問題を明示的に予見していなければ、初期の解決策は一般化に失敗しうる。十分な先見性を示さないプロジェクトは、ある意味では容易な問題であっても、将来に備えられず失敗しうる。
- 追加の努力を投じれば解けるように見えるが、その必要性により、アラインされた版のAGIプロジェクトへ 相当な追加時間または資源要件 が加わる。そのため、安全でない複製や同様のプロジェクトは時間面でさらに有利になる。たとえば、コンピュータのオペレーティングシステムはより安全にできるが、開発時間は5%をかなり超えて増え、最も便利な方法を取らず多数の小さな不便を引き受ける人々が必要となる。このように現れる難しさが十分多く、深刻さの合計が十分大きければ……。
- 安全を軽視するAGIプロジェクトにとってさえ、大きく不可避な資源要件があると強く信じられるなら、安全性の底辺への競争を避けるため主要5プロジェクト間の協調が必要になり、主要プロジェクトが互いを信頼しない軍拡競争の状況はきわめて悪い、という憂慮すべき状態になる。
- 「世界でその資源とAGI開発の意思を持ちうる各集団に比べ、安全を軽視するAGIプロジェクトが十分少ない資源で実行でき、そのようなプロジェクトが数十または数百生じる」確率が十分高いと思われるなら、AIアラインメントのための十分大きな 追加開発 は、 閉鎖的なAI開発シナリオを強制する。（公開開発では、安全策をすべて省くプロジェクトが覆しがたい時間的優位を持ち、そのようなプロジェクトが多すぎて全員を行儀よくさせるのは不可能だからである。（とりわけ現在のように、計算資源を大きく支配する億万長者が 直交性を理解していないように見える世界では。））
- 問題には原理上、直接的な解決策があるはずだが、その過程で失敗する確率が憂慮すべきほどあるように見える。これは次を意味する。
- この問題を確実に解決し、解決したと知るには、相当の追加作業と時間が必要である（上記参照）。または、
- 実行可能な量の努力を投じても、試みた解決策に地雷が含まれる確率が憂慮すべき程度に残る。
- 問題は現実的な努力量では解決不能に見え、その場合、アラインされたAGIの設計は問題との直面を避けるよう制約され、回避策を見つけなければならない。
- 問題は何らかの形で解けるはずに見えるが、正確な解き方がわからない。これは次を意味しうる。
- 最善の善意があっても、この種類の失敗を避けるには新規研究、おそらく天才が必要である。
- これは開発に長い直列時間を要する種類の概念的問題かもしれず、より早く着手すべきである。
- 問題が解決されない場合に備え、この難しさを回避する別の設計経路を検討し始めるべきである。