MIRIは、少なくとも数十年先にある、AIに関わる重要な出来事に人類がうまく対処できる見込みを高める研究を、今行うことを目指しています。そこで知りたいのは、今の行動によって、数十年後のAIに関わる出来事によい効果をもたらすと、どこまで予測できるかということです。また、将来のAIに関わる出来事と重要な特徴を共有する、数十年先の出来事に向けて計画を立てる際、どのような要因から成功や失敗を予測できるのでしょうか？
もっと一般的に言えば、人間は数十年先に向けて、どれほど有効な計画を立てられるのでしょうか。数十年先に向けた計画の成否は、どのような要因から予測できるのでしょうか。
これらの問いを調べるため、私たちはジョナ・シニックに、数十年先を見据えた歴史上の計画を調査し、わかったことをまとめてもらいました。ジョナが以前、GiveWellと殺虫剤処理した蚊帳について行ったのと同様、この話題についてのメールのやり取りを、軽微な編集だけで全文公開すると、事前に約束しました。以下の記事は、現時点までのメールのやり取り全文（PDF）で得られた知見の要約です。
歴史上の事例を数件だけ調べた段階で、初期の知見を公開することにしました。調査を続ける前に、プロジェクトの価値についての意見や、改善の提案を得るためです。同時にこれは、中心となる問いについて、まだ確信を持てる結論は出せないという意味でもあります。
これまでに得られた主な成果は、次のとおりです。
- 人口と資源の枯渇についての有名な予測研究である 『成長の限界』 （1972年）について、ジョナの最初の印象は、長期予測の大部分が外れており、また、執筆当時の著者たちの経歴からも、予測の成功は期待しにくいというものでした。しかし、本書とその批判者・擁護者の議論を読んだ後、批判者も擁護者も多くが本書を大きく誤って伝えており、本書自体は知識や信念を扱ううえで高い基準を満たし、後に誤りとわかった重要な予測はしていない、と結論しました。
- スヴァンテ・アレニウス（1859～1927年）は、利用できた情報が限られていたことを考えれば、驚くほどうまく気候をモデル化しました。それでも、政策上重要な二つの要因については誤っていました。第一に、炭素排出がどれほど速く増えるかを予測できませんでした。第二に、地球温暖化は人々の暮らしや福祉に悪い影響ではなく、よい影響を与えると予測しました。もし、もっと多くの人がその予測を真剣に受け止め、人々のためになると考えて化石燃料の消費を速めていたなら、気候変動の影響についての今日の科学的合意から見て、人々への影響は悪いものだったと考えられます。
- 振り返ってみると、自動化の進展がもたらす中期的な危険についてのノーバート・ウィーナーの懸念は、考えが浅かったように見えます。当時でも、知識や信念の扱い方がもっと適切であれば、かなりよい予測ができた可能性が高そうです。
- 初期調査では、いくつかの歴史的事例は、私たちの中心的な問いを大きく解明する助けにはなりそうもありませんでした。原子力発電所の安全性についてのノーマン・ラスムッセンの分析、核連鎖反応に関する特許を秘密にしておくというレオ・シラードの選択、数十年後の勝利を目指した冷戦期の計画、そして「倫理的な懸念を抱いた科学者」の事例のいくつかです。
- 初期調査では、中国の一人っ子政策と、インドの1991年の金融危機に対するフォード財団の影響という二つの事例が、私たちの中心的な問いを照らすかもしれないと思えました。ただし、どちらも、さらに何時間も調べる必要があります。
- ほかにも調査する価値がありそうな歴史的事例を、多数列挙しました。
このプロジェクトでは、ネイト・シルバーの 『シグナル＆ノイズ』 から得られる重要な教訓の一部を、章ごとにまとめた一覧も作成しました。こちらで読めます。
以下でさらに詳しく説明します。出典などについては、メールのやり取り全文（PDF）を参照してください。
成長の限界
ジョナが1972年の 『成長の限界』を最初に調べた際、著者たちは執筆当時かなり若く、最年長でも31歳であり、長期予測での実績もなかったと指摘しました。さらに、 『成長の限界』 は、エーリックの 『人口爆弾』（1968年）のような、一種の破滅のシナリオを予測し、それは起きなかったように見えました。特に、枯渇した資源はほかの資源で代替されるというジュリアン・サイモンの指摘を、 『成長の限界』 は十分に理解していなかったようでした。
実際に本を読んで、ジョナは次のことがわかったとしています。
- 本書は、強い無条件の主張を避けています。中心となる主張は、もし資源使用量の指数関数的な増加が続くならば、2100年までに社会が崩壊する可能性が高い、というものです。
- 本書は、主張に条件や留保を慎重に付け、知識や信念を扱ううえで高い基準を満たしていました。ジョナはこう書きました。「振り返って見ても、この本は考えが浅いとは思えません。40年前に書かれたことを考えれば、見事です。」
- 著者たちは第4章で、代替可能性を詳しく論じています。
- 本書は緩和策を理論的に論じていますが、具体的な政策は勧めていません。問題が複雑すぎたためかもしれません。
スヴァンテ・アレニウス
スヴァンテ・アレニウスが1世紀以上前に導いた、二酸化炭素濃度に応じて地球の気温がどう変わるかを表す式は、今日使われているものと同じです。しかし、当時利用できた情報を考えれば、その気候モデルは見事だったものの、化石燃料が燃やされる速さの予測は、大きく外れました。また、地球温暖化は人々の福祉によい影響を与えると予測しましたが、現在の理解によれば、予想される影響は悪いものに見えます。
当時、アレニウスの予測はほとんど無視されました。しかし、人々が真剣に受け止め、化石燃料をより速く燃やしていたら、人々の福祉への影響は、おそらく悪いものになっていたでしょう。
ノーバート・ウィーナー
ジョナの説明によれば、ノーバート・ウィーナー（1894～1964年）は、「対策を講じなければ、自動化によって技能の低い労働者は雇用されなくなると信じていました。それが、大恐慌よりはるかに深刻な経済危機を引き起こすと考えていました」。彼の死から約50年が過ぎても、これはあまり起きていないようです。いずれ起きるかもしれませんが。
ジョナの印象では、ウィーナーはこの件について強い見解を持ち、新たな証拠に応じてあまり考えを更新せず、バーリン（1953）やテトロック（2005）が述べた「ハリネズミ」型の思考に頼りすぎていたようです。「キツネは多くのことを知っているが、ハリネズミは一つの大きなことを知っている」という、あの区別です。
私たちの問いの解明には役立ちそうもない歴史的事例
ラスムッセン（1975）は、原子力発電所の大災害が起きる前に書かれた、原子力発電所の確率的リスク評価です。しかしジョナは、この事例は、数十年後のAIがもたらす結果に役立つ行動を取るという、私たちの具体的な問いとはあまり関係しないと結論しました。理由の一部は、この問題が分野に強く依存していること、そして報告書が、少数の際立った予測ではなく、多数の小さな予測をしていることです。
1936年、レオ・シラードは、連鎖反応の特許を、ナチスに知られないよう保証される形で譲渡しました。しかし、ジョナは次のように結論しました。
これは、自明ではない未来予測のよい例ではないと思います。破壊に使える可能性は、かなり明らかに見えます。大量の集中したエネルギーを生むものは、何でも破壊的に使えるからです。ナチスについて言えば、シラード自身がユダヤ人で、ナチスから逃れていました。危険な政権に、破壊に使える知識を得てほしくないのは、かなり当然のことに見えます。量子力学の初期の開発者たちが、破壊に使える可能性をおぼろげに感じて研究を秘密にしていたとか、ナチス政権が生まれるまでまだ何年もある仮想的な世界で、シラードが秘密裏に特許を申請したというのであれば、もっと印象的だったでしょう。
ジョナは、数十年後に戦争に勝つことを目指した冷戦期の取り組みを短く調べましたが、「これらの取り組みを戦争の結果に結びつけるのは難しすぎる」と結論しました。
ジョナはまた、カイ・ソタラの「倫理的な懸念を抱いた科学者の小史」も調べました。そこで挙げられた事例の大部分は、このプロジェクトに関係しないようでした。多くの事例は、「軍事利用を心配して科学者が発見を隠す」というものでした。しかし、科学技術の市場は現在、比較的効率的で、発見を隠しても進歩を長く遅らせることはめったにないため、この種の歴史的事例の関連性は、ますます低くなっているようです。たとえばケヴィン・ケリー（2011）を参照してください。ほかには、活動が行われた当時に脅威が目前に迫っていた、危険な兵器の使用を減らす取り組みもありました。これらの事例から学べることはあるかもしれませんが、現在のプロジェクトとの関連は、比較的弱そうです。
追加の調査を大幅に行えば、私たちの問いの解明に役立つかもしれない歴史的事例
ジョナは、中国の一人っ子政策の影響を初期的に調べました。そして、その影響が正か負か、どれくらい大きいかの両方を確かめるには、非常に多くの時間をかけた研究が必要だと結論しました。
ジョナは、フォード財団に関わる事例も調べました。GiveWellとの会話で、ラント・プリチェットは次のように述べています。
大きな変革をもたらす慈善活動の一例は、インドが1991年の経済危機から回復したことに関わります。それ以前に、ほかの国々も同じような危機に陥りましたが、回復を可能にするよい政策を実施できませんでした。対照的に、インドはよい政策を実施し、短期間で回復しました。インドが実際に採用した政策を確実に実行させた主要人物の大半は、危機の10年前にフォード財団が設立したシンクタンクの影響を受けていました。そのシンクタンクは、自由化について、先進国の関連するアイデアをインドの人々に紹介していました。(a) インドの経済が実際に上向いた経路と、(b) 1991年の危機からの回復に失敗していた場合にたどったであろう経済成長の経路との差は、数兆ドルに上ります。したがって、フォード財団のシンクタンクへの投資は、非常に大きな影響をもたらしたのです。危機に先立つ10年間は、シンクタンクには何の影響もないように見えていましたが、実際には大きな影響があったとわかりました。
残念ながら、この話が本当かどうかを確認できる資料や連絡先を、ジョナは見つけられませんでした。
ほかに、調べる価値があるかもしれない歴史的事例
候補に挙げたものの、まだ調べていない事例には、次のものがあります。
- ナノテクノロジーの実現可能性と、起こりそうな影響についての、エリック・ドレクスラーの初期の予測。
- 組換えDNAに関するアシロマ会議。
- 地球の脅威になる前に小惑星を発見する取り組み。
- 緑の革命。
- 暗号の近現代史。
- 地球温暖化を緩和する初期の取り組み。
- 科学上の飛躍を生むために、意図して行われた可能性のある長期的な取り組み。トランジスタやヒトゲノムなどが該当するでしょうか。
- レイチェル・カーソンの 『沈黙の春』（1962年）。
- ポール・エーリックの 『人口爆弾』（1968年）。
- ワールドウォッチ研究所の 『地球白書（State of the World）』 報告書（1984年以降）。
- 環境と開発に関する世界委員会（WCED）の 『我ら共有の未来（Our Common Future）』（1987年）。