MIRIの使命は、「人間より賢い知能の誕生が、よい影響をもたらすようにする」ことです。
政策に関わる問いの一つは、政策担当者はAGIの発明にどれほどうまく対処すると期待すべきか、そしてそれは、ほかの懸念事項と比べ、AGIリスクの低減にどれほど労力を割くべきかについて何を意味するか、というものです。
この問いを調べるため、ジョナ・シニックに、将来のAGIの発明といくつかの点で似た過去の出来事に、政策担当者がどう対処したかを調べ、結果をまとめてもらいました。「数十年先をどれほどうまく計画できるか」の調査と同様、この話題に関するメールのやり取りを、軽微な編集を加えたうえで全部公開すると、あらかじめ約束しました。以下は、これまでのメールのやり取り全文（PDF）から得た結果の要約です。
数十年先の計画に関する調査と同様、歴史上の事例を数件だけ調べた段階で、初期の結果を公開することにしました。調査を続ける前に、プロジェクトの価値についての意見や、改善案を得るためです。したがって、中心的な問いについて、まだ確信を持った結論は出せません。
これまでに得られた、最も重要な結果は次のとおりです。
- 歴史上の事例が将来のAGIの発明と似ていると言えそうな点を、重要と思われる6項目の暫定リストにし、いくつかの事例をその基準で評価しました。
- 気候変動リスクはAIリスクとかなり異なるため、温暖化対策を調べても、政策担当者がAGIリスクにどれほどうまく対処するかについて得られる洞察は、おそらく限られます。気候変動の予想被害は、特に政策担当者自身への予想被害を見ると、AIリスクによるものより非常に小さいようです。
- 2008年の金融危機は、簡単に調べた限り、AGIリスクと十分に似た点があり、政策担当者がAGIの発明に賢明に対処できないのではないかと、多少は懸念する理由になります。
- 地磁気嵐が重要インフラにもたらすリスクは、AGIリスクと同じ参照クラスに含めるには、小さすぎます。
- 天然痘の根絶は、AGIの発明と似た点が多少あるにとどまります。
- ジョナは、サイバー戦争、クロロフルオロカーボン、キューバ危機のリスクに政策担当者がどう対処したかも、ごく浅く調べました。しかし、「初期の考え」を述べるにも、さらに調査が必要です。
- 今後調べられる、ほかの歴史的事例も特定しました。
詳しくは以下をご覧ください。出典などは、メールのやり取り全文（DOCX）にあります。
歴史上の事例がAGIの発明と似ていると考えられる6つの点
ジョナとの話し合いで、将来のAGIの発明が持つ特徴を6つ挙げました。歴史上の事例がこれらをかなり共有していれば、政策担当者がAGIの発明にどう対処するかを考える手がかりになると見られます。
- AGIは、ある程度予測しにくい時期に、大きな脅威になるかもしれない。
- 世界がAGIについてほとんど経験を持たないうちに、脅威になるかもしれない。
- AGIでよい結果を得るには、難しい世界的な協調問題を解く必要があるかもしれない。
- AGIの脅威に十分備えるには、事前に多くの慎重な作業が必要かもしれない。
- 政策担当者には、AGI問題を解決する強い個人的な動機がある。
- AGIが悪い結果をもたらせば世界的な大惨事になり、よい結果をもたらせば世界の人々に利益が及ぶ。
この基準と使い方の詳細は、メール全文の2通目にあります。
気候変動によるリスク
1970年代初め、気候変動が問題になりうると認識され始めました。ただし、人間の活動が炭素排出による温暖化を引き起こすのか、スモッグの粒子による寒冷化を引き起こすのかには、多少の曖昧さがありました。IPCCの最初の報告書は1990年に発表され、温室効果ガスによって、人為的な地球温暖化がかなり生じていると述べました。2001年までには、この主張に強い科学的合意ができていました。
気候変動リスクへの政策担当者の対応は、AGIに賢明に対処するかを考える手がかりになりそうに見えますが、重要な相違点があります。
- 温暖化の害は、政策担当者ではなく、貧しい国の不利な立場の人々に偏って及ぶと予想されます。そのため、問題を解く個人的な動機は、AGIの場合よりはるかに弱くなります。
- 中央値のケースでは、温暖化によって人々が被る損失は、最も貧しい人々について、年間GDPの約20％に相当すると見られます。予想される経済発展と限界効用の逓減を考えると、将来世代を考慮しなくても、AGIリスクに比べ、人々への悪影響ははるかに小さいものです。たとえば経済学者インドゥル・ゴクラニーは、「2085年までは、飢餓、マラリア、異常気象（海面上昇による沿岸洪水を含む）による［死亡］のうち、［地球］温暖化が原因なのは13％にとどまるはずだ」と推計しています。
- したがって、AGIリスクとの類似性がありうるのは、気候変動のテールリスクです。しかし、2100年までの気温上昇が確率分布の95パーセンタイルに達しても、地球の一部の地域が住めなくなり始める以上のことが起きる、という予測と両立する見解を持つ、専門的な資格や実績のある科学者は、少ないようです。
- IPCC第5次報告に関する資料によれば、気候変動による人類絶滅のリスクは非常に低いようです。「誰もが危険と考える閾値の中には、無視できない確率で到達しうるという裏づけが、文献にないものもある。たとえば、金星のような『暴走温室効果』が人間の活動によって引き起こされる可能性は、事実上ないように見える」。
2008年の金融危機
ジョナによる2008年の金融危機の調査は浅いものですが、初期の結果は、少し詳しく紹介するだけの興味深さがあります。金融危機とAGIの状況の関連についてのジョナの印象は、クリントン政権下で1年半、連邦準備制度理事会の副議長を務めたアラン・ブラインダーの『After the Music Stopped』を読んだことに基づいています。当然ながら、政策担当者の金融危機への対応が、AGIに賢明に対処する可能性とどう関わるか、確かな結論を出す前には、さらに多くの資料に当たるべきです。
ブラインダーが挙げる、不況につながった7つの主な要因は次のとおりです（27ページ）。
- 資産価格の膨張。特に住宅価格の上昇による住宅バブルと、一部の証券価格の上昇による債券バブル。
- 金融システムと経済全体に広がった過剰なレバレッジ、つまり多額の借入。
- 緩い金融規制。法律が規制しないまま残した領域と、規制当局の職務遂行の不十分さの両方。
- サブプライムローンなどの住宅融資における、恥ずべき銀行の慣行。
- こうした不良住宅ローンを基に作られた、規制されていない証券やデリバティブの複雑な寄せ集め。
- その寄せ集めをつなぎ合わせるのを助けた、統計的格付け機関の惨憺たる仕事ぶり。
- 一か八かの勝負に出る強い動機を作った、多くの金融機関の倒錯した報酬制度。
これらを踏まえ、2008年の金融危機と、将来のAGIの発明の類似性がどれほど強いか、見てみましょう。
- 金融危機がある程度定期的に起こることは分かっていますが、金融危機が予想外だというのは、ほとんど同語反復です。
- 2008年の金融危機は、種類として前例がなかったのではなく、いくつかの点で、程度だけが前例のないものでした。
- この危機を避けるには、世界的な協調ではなく、国内の難しい協調問題を解く必要がありました。それでも、類似性はかなり強いようです。ジョナはこう書いています。「2008年の金融危機は、影響は広く及んだものの、主には米国固有の問題だったように見える。しかし、防ぐには難しい協調問題の解決が必要だったという側面がある。原因は分散しており、責任は多くの異なる種類の主体にまたがっている」。
- リスクを避けるため、事前にどれほど慎重な作業が必要だったかという点で、金融危機と将来のAGIの発明が似ているかどうかを判断できるほどには、ジョナの分析は深くありませんでした。
- AIリスクと違い、金融危機は、関係者のほぼ誰にとっても、生死に関わる問題ではありませんでした。金融関係者の多くには危機を避ける動機がなく、実際、主要人物の一部は高額の賞与を受け取りました。ただ、政府の意思決定者には評判のために危機を防ぐ動機があった、と考えるのはもっともですし、多くの利益集団が金融危機で損害を受けます。
- 金融危機の規模もAIリスクに匹敵するものではありませんでしたが、今回の初期調査で扱ったほかのリスクよりは、その規模に近いものでした。
ジョナは、「2008年の金融危機［に至るまでの］不適切な判断の積み重ねは、［政策担当者が］AIリスクにうまく対処するという見方に対する、小さいながらも無視できない疑問を投げかける」と結論しました。その理由は次のとおりです。
- 金融危機の規模は、将来世代を数に入れないAIリスクの規模に比べて、小さくても無視できません。
- 金融危機は、権力を持つ人々のかなりの割合も含め、非常に幅広い人々に害を及ぼしたようです。この点は、気候変動より強く当てはまります。不況は大半の企業と労働者にとって悪いことです。それでも、これらの主体は問題を認識し、協調して防ぐことができませんでした。
- 政策担当者が問題を認識し、協調して防げなかった理由は、AIリスクについて同じことができないかもしれない理由と関係しているようです。第一に、主要な関係者の何人かは、目立った過信とテールリスクの軽視を示したように見えます。たとえばサマーズらが、過剰なレバレッジへのブルックスリー・ボーンの警告を無視したことです。これが正しければ、権力を持つ人々は過信し、テールリスクを軽視しやすいことを示します。AIリスクを減らすには、過信を避け、テールリスクを十分重く見ることが重要かもしれません。第二に、金融危機では傍観者効果と共有地の悲劇が大きく働いた、という印象があります。既存の政府機関のどこにも管轄がなかったため、十分対処されなかったリスクがありました。「自分の仕事ではない。誰かがやるだろう」という心理と対応していたのかもしれません。AIリスクが大きいと思えば、「誰も対処しないなら自分がやる。そうしないと自分も死ぬからだ」と考えるかもしれません。しかしリスクが小さいと思えば、「たぶん自分にはそれほど悪いことにならない。誰かが対処すべきだが、それは自分ではない」と考えるかもしれません。
地磁気嵐によるリスク
1859年のキャリントン・イベントのような大規模な地磁気嵐は、めったに起きませんが、人工衛星や重要インフラに深刻な被害を与えるおそれがあります。概要はOECDの報告書をご覧ください。
ジョナの調査では、地磁気嵐による年間の予想損失は、3,000万ドルから300億ドルまで、幅広い推計が見つかりました。しかし大きいほうの数字でも、今後50年間の予想損失は1兆5,000億ドルです。これを、およそ50年に一度の出来事である2008年の金融危機による損失と比べてください。米国人の分だけで約13兆ドルと推計されています。
地磁気嵐のリスクは深刻ですが、将来のAGIの発明と同列に扱えないほど小さいように見えます。
天然痘の根絶
天然痘は、過去数千年で5億人以上を死に至らせた後、数十年にわたる世界的な根絶活動を経て、1979年に根絶されました。世界的な協調が成功した代表例ではありますが、政策担当者がAGIの発明に賢明に対処するかどうかとは、特に強い関連はなさそうです。
将来のAGIの発明との類似性を測る基準に、天然痘の根絶がどこまで当てはまるかは、次のようになります。
- 天然痘は予測できない時期に現れたのではありません。根絶運動より何千年も前からありました。
- 天然痘以前に、世界が病気を根絶した経験はありませんでした。ただし、多くの国は国内から天然痘を排除していました。
- 根絶には難しい世界的な協調問題の解決が必要でしたが、AGIの安全性を実現する場合とは、性質が異なります。このリストのほかの項目を参照してください。
- 根絶に備えるには、ある意味では事前の努力が必要でした。しかし、その大半は根絶運動の発表前に、すでになされていました。
- 天然痘のない国にも根絶の動機がありました。ウイルスが国内に入り込んだり、再び入ったりするのを防ぐため、国民の予防接種に費用をかけずに済むからです。たとえば1968年、米国は定期的な天然痘の予防接種に約1億ドルを費やしました。
- 天然痘は、世界的な大惨事と考えられます。1966年には、毎年約200万人が天然痘で亡くなっていました。
サイバー戦争、クロロフルオロカーボン、キューバ危機のリスクの簡易調査
ジョナがサイバー戦争のリスクを簡単に調べたところ、その性質や範囲について、専門家の意見が大きく分かれていると分かりました。十分な情報に基づく理解を得るには、おそらく数十時間の調査が必要です。
クロロフルオロカーボン（CFC）がオゾン層を破壊するという発見に、政策担当者がどう対応したかを調べるため、ジョナは『Ozone Crisis: The 15-Year Evolution of a Sudden Global Emergency』の最初の100ページを要約しました。要約はメール全文にあります。この事例は、さらに調べる価値がありそうです。対応が十分に速かったかには議論がありますが、政策担当者が驚くほど迅速に世界的なリスクを解決した例かもしれません。
ジョナはキューバ危機も簡単に調べました。世界的な核戦争へ拡大する確率がどれほどだったかを評価するのは難しいものの、危機に至る過程でも、その最中にも、政策担当者は多くの不適切な判断をしたように見えます。その一覧はメール全文にあります。ジョナはこう結論しています。
キューバ危機が全面核戦争に至る確率が、わずか1％ほどだったとしても、リスクはなお十分に大きかった。そのため、関係者の対処の仕方は、エリートがAIの誕生にうまく対処するという見方に反する証拠となる。気候変動の場合とは異なり、エリート自身にも全面核戦争を避ける強い個人的動機があった。
ただし、これは浅い調査に基づく推測にすぎません。歴史的事実をもっと詳しく調べるまでは、重く受け止めすぎるべきではありません。
今後調べられる歴史的事例
将来のAGIの発明と、参考になる類似性があるかを調べられる、ほかの歴史的事例も挙げました。