［IPCCの最新］報告書には「こうした技術と国際協定をすべて導入すれば、温暖化を［わずか］2度に抑えることはなお可能だ」とある。私自身の評価では、そのために必要な行動はあまりに英雄的で、この惑星上で目にすることはないだろう。
――デイビッド・ビクター、((『Radiolab』の「In the Dust of This Planet」という回からの引用。)) カリフォルニア大学サンディエゴ校国際関係論教授
以前、科学、技術、金融、政治の「実力者」が集まる会議へ出席した。世界を改善するため、各自が最も気に入っている「大構想」を論じた。ある人の大構想は、国家間でベストプラクティスをコピーすることだった。たとえば、臓器提供をオプトインでなくオプトアウト方式にすれば、国が提供率を劇的に改善できると示されたなら、ほかの国はその解決策をそのままコピーすべきだ、というものだ。
誰もが、これは退屈な提案だと考えた。明らかに優れた考えであり、議論することが何もなかったからだ。もちろん彼らは、それが不可能であり、標準的な実務として定着することなどありえないことにも全員同意した。そこで私たちは、もっと扱いやすい別の大構想へ移った。
後に、似た人々の集まる会議で、ある問題について経済学者へ、彼らの提言は「経済学入門どおりで分かりやすい」と伝え、異論は何もないと言った。代わりに「しかし、経済学入門どおりの解決策を政策担当者に実施してもらうには、どうすればよいですか」と尋ねた。経済学者は笑って言った。「ええ、それは分かりません。たぶん無理でしょう」。
どう言えばよいだろう。この文明は、自己改善するAGIを扱うべき文明ではない。((ボストロムは『Superintelligence』259頁で、こう表現した。
知能爆発の可能性を前にした人間は、爆弾で遊ぶ幼い子どものようなものだ。遊び道具の力と、行いの未熟さがこれほど釣り合っていない……不発の爆弾を手にした子どもなら、そっと下へ置き、急いで部屋から退き、近くの大人へ連絡するのが賢明だろう。しかしここにいるのは一人の子どもではなく、それぞれが別個の起爆装置を使える多数の子どもである。危険なものを置く分別を私たち全員が見つける可能性は、ほとんど無視できるほど小さく見える……逃げても安全にはなれない。知能爆発の爆風は全天を崩壊させるからだ。そして、目に入る場所に大人はいない。
))
バックホーは強力で、労力を減らす発明だが、2歳児を運転席へ座らせようとは思わない。自己改善するAGIほど強力なものを21世紀の人間に使わせることにも、おおよそ同じ懸念を抱く。((ここで「AGI」とは、Nilssonの雇用テストのようなものへ合格できるコンピューターシステムを意味する（「AGIとは何か？」を参照）。「自己改善するAGI」とは、自ら独自に行うコンピューター科学とロボット工学の研究を通じて、自身の能力を改善するAGIを意味する（たとえば世界についてさらにデータを集めたり、計算資源を増やしたりするだけではない）。「自身の能力」には、AGI自身が目標の実現をさらに進めるため作る後継システムの能力も含める。本稿では通常、「AGI」と「自己改善するAGI」を同じ意味で使う。すべてのAGIが必ず強い意味で自己改善するからではなく、たとえ最初のAGIが何らかの理由で自己改善しなくても、数十年以内か、それより早く自己改善するAGIが続くと予想するからだ。宇宙論的な観点では、この遅れは一瞬にすぎない。)) 先に、もっと成長する時間があればよかったと思う。自己改善するAGIをうまく扱うため必要な種類の行動は、「あまりに英雄的で、この惑星上で目にすることはない」だろうと思う。少なくとも近いうちには。((気候変動を前にした文明の能力について発言したとき、デイビッド・ビクターがそうしたのと同じく、AGIを制御する課題へ対処するには、私たちの文明の何が不十分に見えるのかを、意図的に正確には定めていない。多くの理由から、この課題には文明の能力が不十分だと思うが、それぞれの理由や、それが問題のどの部分に当てはまるかについての不確実性の程度も異なり、その細部を表現するのは難しい。))
しかし、AGIを作る誘惑へ全員が長く抵抗することはないだろうし、AI科学者の第一人者の大半もそう考えている。((Müller & Bostrom（2014年）のTOP100調査にあるAIタイムライン予測を参照。著者らは、存命するAI科学者のうち被引用数上位の標本へ、こう尋ねた。「この問いでは、人間の科学活動が大きな負の混乱なく続くと仮定してください。［AGI］が存在する確率が（10%／50%／90%）になるのは、何年までだと考えますか」。それぞれの確信度に対する回答の中央値は、順に2024年、2050年、2070年だった。
そもそもなぜAI科学者を信頼するのか。最初からAIの進歩について、途方もなく楽観的だったのではないか。確かに初期のAI科学者には、AIの進歩の速さについて恥ずかしい発言がある。しかし初期のAI懐疑論者にも、AIができないことについて、現在では反証された発言が多数ある。現存する最古のAI科学者への調査は1973年のものである。そのAGIタイムラインについての問いに最も多かった回答は、最も悲観的な選択肢「50年以上」だった。（2023年までにAGIができなければ、これは結局正しかったことになる。）)) AGIを作る動機が、あまりに大きい。自己改善するAGIは、Google、NSA、中国、そのほか誰であれ、作り手へ歴史上最大の先行者利益を与えうる。最初の数チームが賢明にAGIを設計しても、時間が経てば、規模が小さく賢明でないチームがゴールを越えることは簡単になる一方だ。マッドサイエンスのムーアの法則などである。
自己改善するAGIを、私ほど心配しない人もいる。結局のところ、1950年には、今後半世紀に全面核戦争を避けられるほど文明の能力は高くない、と予測したかもしれないが、私たちは実際に避けた（かろうじてそうできただけだとしても）。((興味深い下位問題がある。人類の文明としての対処能力は、技術的能力へ追いつき続けるのか。核兵器の発明時のように技術的能力が飛躍すると、社会的・道徳的な必要性や別の力によって、その能力を制御する力も飛躍するのか。アインシュタインは「核兵器は私たちの思考様式以外のすべてを変えた」と述べ、核兵器を賢明に扱えるほど速く「大人」へ成長しないと考えていたことを示唆する。まさに「賢明」に扱ってきたわけではないが、少なくともこれまでは世界的な核の破局を避けられるほど賢明に扱ってきた。)) だからAGIについても、それほど心配すべきでないのかもしれない。
このように考え直す議論を検討するのは重要だと思うが、私は一般に、世界を見たままに受け取ろうとする。私たちが成功する物事と失敗する物事を見ると、AGIから良い結果を得ることは、臓器提供をオプトアウト方式へわざわざ変えるといった、日常的に失敗する物事よりはるかに難しく見える。
しかし、文明の能力という問いが決着したふりをするつもりはない。そもそも決着をつけられるなら、書籍一冊分か、それ以上の議論が必要だろう。（ニック・ボストロムの『Superintelligence』は、AGI制御問題が難しい理由を多く述べるが、人類がこの課題へ応えられそうかは、あまり述べない。((この主題について『Superintelligence』が述べることは、第14章にある。))）
この問いへ答えようとすることに、何の意味があるのか。私の見方が正しいなら、世界的課題に対する社会の相対的な投資を再評価する必要がある、というのが重要な帰結だと思う。NBAで成功したいのに、身長がわずか160センチしかなければ、もっと自然に適性があるほかの目標より、バスケットボールの目標へ多くの時間と努力を投じるしかない。そして自己改善するAGIを切り抜けて文明を存続させたいのに、私たちの文明には臓器提供をオプトアウト方式へ変えることさえできないなら、すばらしいスマートフォンの構築のように、文明がもっと自然に適性をもつ別の目標より、AGIから生き延びるためには早くから取りかかり、懸命に試し、多くを費やすなどしなければならない。
しかし私が間違っており、文明が、たとえば以前にCFCを扱ったようにAGIを扱える軌道にあるなら、友好的AI理論を前進させるより緊急に行うべきことがあるかもしれない。（それでも、現在の世界には友好的AIの常勤研究者が5人未満しかいないため、現状で追加の資源を投じる限界効果を考えれば、友好的AI研究を増やすことが有益でないなら驚きである。）
本稿で自分の見方を論証するつもりはない。ここで尋ねたいだけなのは、文明の能力とAGIの到来という問いを、どう研究できるかである。おそらく分析を二つに分ける。（1）AGI制御問題の見かけの形と難しさ、（2）その形と難しさの問題が玄関をたたくとき、それに対処できる文明の能力をもつ可能性が高いか、である。
本稿のすべてが大幅な単純化であることに注意してほしい。問題の難しさと文明の能力は一次元の概念ではないが、簡潔にするため、そうであるかのように話すことがある。しかしAGI制御のような問題は、技術的なもの、政治的なものなど、異なる仕方で異なる程度に難しい。そして文明の異なる部分は、異なる仕方で異なる程度の能力をもち、その異なる種類の能力は、異なる趨勢をたどっている。
問題の難しさ
AGI制御問題はどれほど難しく、どのような意味で難しいのか。このような分析の姿を示すため、自分の考えを次のようにまとめられる。
AGIに新しく生じる制御問題は、本当に難しく見える。たとえば、自己改善するAGIから良い帰結を得るには、まだ観察されたことのない哲学的成功が必要なようだ。単に安全な自動操縦ソフトウェアを書くためには必要でない哲学的成功である。もっと一般に、自分たちより汎用的に賢く、強力なシステムを制御しようとするとき、新しい問題がいくつか生じるようだ。ほかのシステムについて解決した実績のない問題であり、チンパンジーが人間へ、チンパンジーの望むことを確実にさせようとする、絶望的な見込みに似た問題である。（『Superintelligence』を参照。）
さらに、AGIの能力が「後戻りできない」地点へ達する前に、新しいAGI制御問題を解くための確かな機会は、比較的少ないかもしれない。特に、（1）開発の安全性より速度を優先させる動機を与える、国家間や企業間の不安定化する軍拡競争が起きる可能性が高く、（2）新しい制御問題が重要になるまさにそのとき、進歩が急速になるかもしれない。私たちは種として、最初の5回の試みの一つで何かを正確に正しく行うのが、それほど得意でない。通常、最初の数十、数百回の失敗から学び、正しくできるようになる。しかし、新しいAGI制御問題では、その余裕がないかもしれない。
AGI制御の課題は、軍拡競争も一例である「地位的外部性」という問題と、関係する調整問題の影響を、特に受けやすく見える。（「地位的外部性」という考えは、脚注でさらに説明する。((Frank（1991年）は、次のように説明する。
『Micromotives and Macrobehavior』でThomas Schellingは、ホッケー選手を自由にさせておくと、ほぼ全員が秘密投票ならヘルメット着用規則へ賛成するにもかかわらず、ほとんど決してヘルメットをかぶらない、と述べる。ヘルメットをかぶらないと、おそらく見たり聞いたりするのが少し容易になるため、勝つ確率が高まる……同時に、ヘルメットをかぶらなければ怪我をする確率も高まる。選手が安全性の上積みより、勝つ確率の上昇を高く評価するなら、ヘルメットをかぶらないことは合理的だ。皮肉なのは、全員がヘルメットを捨てると、全員がかぶった場合と競争上の均衡が同じになることだ、とSchellingは述べる。
ヘルメット問題は、地位的外部性と呼べるものの一例である。ヘルメットをかぶる決定は、かぶる本人だけでなく、本人とほかの人が活動する参照枠にも重要な影響を及ぼす。そのような状況では、個人への利益が参照枠内の地位へ部分的に依存する。ホッケー選手にとって重要なのは、絶対的な意味での競技能力ではなく、相手と比べた成績である。地位的外部性がある場合……個人にとって合理的な振る舞いを足し合わせると、誰も選ばなかった結果へ至ることが多い、とSchellingは教えてくれた。
軍拡競争は、よく理解された地位的外部性の一種である。Alexander（2014年）の表現では、「神の視点から見れば、最良の解決は世界平和であり、どの国も軍をまったくもたないことだ。システム内部では、どの国も一方的にそれを強制できないため、最良の選択肢はミサイルへ資金を投じ続けることになる……」。))）
しかし、これは大まかな素描にすぎず、ほかの論者はAGI制御問題の形と難しさについて、異なるモデルをもつかもしれない。
文明の能力
次に、私たちの文明は課題へ応えられるだろうか。AGIが発明される時点における文明の能力は、AGI制御問題を解くのに十分だろうか。
この問いについての私の悲観は、概念的な議論や現在の趨勢の単純な外挿から生じたものではない。むしろ、30年以内に実現しそうなのは自動運転タクシーか火星植民地かを考えるとき、おそらく行うのと同種の、多面的な経験的推論から生じている。つまり、世界が一般にどう働くかについて私がもつ異なるモデルを組み合わせている。宇宙旅行とAIの発展速度、両方への支出の趨勢、どの政治的・商業的動機が働くか、どんな調整問題を解かなければならないか、関係分野の専門家が問題をどう考えているように見えるか、どんな問いに専門家がうまく、または下手に答えるか、などである。また、その最初の組み合わせた推定を、私が知る具体的事実に基づいて調整する。テラフォーミング、放射線の危険、自動運転車などについての具体的事実である。((言い換えれば、AGIの帰結について悲観する理由は、モデルの組み合わせと調整のようなものだ。あるいはHolden Karnofskyの言うクラスター思考として考えられる。初期草稿の読者の一人が呼んだように、「普通の日常的な推論」でもある。))
残念ながら、AGIの帰結についての予測を単純な概念的議論で強く裏づけることはできないため、この主題についての見方を説明しようとすると、多くの労力を要する。これが、AGIの帰結について楽観論と悲観論のどちらについても、優れた徹底的な論証を見たことがない理由かもしれない。人々は、世界についての予想に基づき、単に自分の見解をもっている。その見解がどこから来たかを詳しく説明するには、多くの作業が必要だ。それでも、誰かが試みるところを見たい。
出発点として、ここで提案している種類の調査と、方法論的な特徴を一部共有する研究へリンクする。
- Libecap（2013年）は、世界的な外部性の一部が有効に対処され、ほかはされない理由を調べる。
- 多くの研究者が、「高信頼性理論」や「通常事故理論」のようなシステム事故の理論を、歴史データに照らして検証する。要約はSagan（1993年）第1章を参照。
- Yudkowsky（2008年）は、特に破局的リスクについての判断を歪めうる認知バイアスを調べる。
- Sztompka（1993年）は、ソ連崩壊後の東欧の復興の遅さを、ある種類の文明的無能力へ帰せると主張する。
- Shanteau（1992年）、Kahneman & Klein（2009年）、Tetlock（2005年）、Ericssonほか（2006年）、Mellersほか（2014年）など多数の研究は、優れた専門家判断や予測の条件を論じる。おそらく、領域の専門家が可能な介入の帰結について優れた判断をできる領域では、文明の能力が高い。
- Sunstein（2009年）第2章は、モントリオール議定書が京都議定書より普遍的な支持を得た理由を調べる。
- Schlager & Petroski（1994年）とChiles（2008年）は、20世紀の重大な技術災害の事例研究を集めている。
この分析プロジェクトの一部へ少しでも取り組むことにしたなら、下のコメント欄で研究へリンクしてほしい。