MIRIは2000年、友好的AIを作ることが、できる限り大きな善をなす、とりわけ効率的な方法かもしれないという前提で設立されました。((この記事では、人類全体が友好的AIを作ることの価値を論じます。一方、共同創設者のエリエゼル・ユドコウスキーは通常、MIRI自身、少なくとも同じ役割を果たす組織が作ることを論じます。私には、MIRIが友好的AIの構築を目指すのが最善だという、彼ほどの確信がないからです。2013年初めに定款を更新したとき、私たちは使命の表現について折り合いました。現在はこうなっています。「［MIRIは］、人間より賢い知能の誕生がよい影響をもたらすようにするために存在する。したがって、その慈善的な目的は、(a)そのよい影響を確保するための関連研究、(b)この重要な問題への認識の向上、(c)世界の研究者、指導者、一般の人々への助言、(d)必要に応じて、人道的で安定した目標を持つ、人間より賢い知能の実装である」（強調は引用者）。私は、MIRIや同等の組織が自ら友好的AIを作る必要はなくて済むことを願っています。しかし、最初のAIの誕生が近づくにつれ、それが最も賢明な道になる可能性には、開かれていなければなりません。能力の問題もあります。非営利の研究組織が最初にAIを作れる見込みは大きい、と考える人は少ないでしょう。しかし私は、AIの誕生まで残り数十年になるまで、世界のエリートがこの問題を真剣に扱うのを時流に合うことと考えないのでは、と心配しています。その時点では、友好的AIの数学を間に合うように発展させるのは特に難しくなり、人類は、信頼する根拠の乏しい強力なAIに、自らの生存を賭けざるをえなくなるでしょう。))
その後、次のような進展がありました。
- 単に善をなすのでなく、できる限り大きな善をなすことを目指す「効果的利他主義」は、これまでになく注目を集め、研究の質も高まりました。((効果的利他主義は、慈善活動に意思決定理論を素直に適用したものと考えられます。個人、団体、財団などは、「大切にしているものに照らし、期待値としてできるだけ大きな善をなす慈善行為、たとえば寄付を、どう選べるか」と問います。慈善行為を含め、不確実な状況でのあらゆる選択について、合意されている推奨は期待効用の最大化です（Chater & Oaksford、2012年、Peterson、2004年、Stein、1996年、Schmidt、1998年、19ページ）。主体ごとに価値を置くものは違いますが、それぞれが期待効用を最大化すれば、自分の望むものを最も多く得られると、意思決定理論は示唆します。この意味で選択は「最適」であり、効果的利他主義は「最適な慈善活動」とも呼べます。この意味では、従来の慈善活動の考え方とそれほど違いません。たとえば高インパクトの慈善活動、すなわち「投入した資金で可能な最大の違いを生む」こと、戦略的慈善活動、効果的な慈善活動、賢明な慈善活動などです。また、結果について完全な効用関数と確率関数を指定し、期待効用が最高の行為を計算すべきだ、と言っているわけではありません。能力に限界のある主体には実行できません。意思決定の規範的、記述的、処方的モデルの区別を忘れてはいけません。Baron（2007年）はこう述べます。「規範的モデルは、理想的な基準からの逸脱という点で、意思決定をどう評価するかを教える。記述的モデルは、ある文化の人々が実際に何をし、規範的モデルからどう逸脱するかを示す。処方的モデルは、実際の思考の結果を規範的モデルに近づけるための、設計や発明である」。能力に限界のある慈善活動の主体が、期待効用を最大化するために何をすべきかという処方的な問いは、通常、非常に複雑です。EAコミュニティーの研究の大半は、これを扱っています。)) とりわけ、GiveWell、Center for Effective Altruism、哲学者ピーター・シンガー、Less Wrongのコミュニティーの仕事によるものです。((たとえば、次を参照してください。「効率的な慈善」「効率的な慈善：人にしてもらいたいことを」「慈善としての政治」「慈善におけるヒューリスティクスとバイアス」「公共選択と利他主義者の負担」「慈善団体と線形効用について」「人間のための最適な慈善活動」「温かな満足感と効用は別々に買おう」「お金：気にかける度合いの単位」「満足感と効用の最適化：利他主義のチップ入れ」「効率的な慈善活動：局所的な方法と全体的な方法」「途上国援助の有効性」「人体冷凍保存に反対し、費用対効果のよい慈善を支持する」「ベイズ的な調整は存亡リスク対策への寄付を否定しない」「世界を救う方法」「最適な慈善活動とは何か」。))
- 最近の博士論文で、ニック・ベックステッドは、たとえば友好的AIを通じて遠い未来を形作ることが、圧倒的に重要だという主張の背後にある仮定を明らかにしました。
- MIRI、Future of Humanity Institute（FHI）などの研究によって、機械超知能に関する戦略的な状況は、以前より明確になりました。FHIのニック・ボストロムは、これらの研究の多くを近刊にまとめています。((ベックステッドとボストロムは、発展の道筋の変化、存亡リスク、機械超知能を議論する枠組みと共通言語を作り、研究者に非常に大きく貢献したと思います。同僚とこうした話をすると、最初の1時間は、相手が何を言っているのか、言葉や概念をどう使っているのかを理解するだけで終わることも、よくありました。二人の最近の仕事は、研究者間の意思疎通を明確かつ効率的にし、研究の生産性を高めるはずです。共通言語が研究生産性に与える効果を調べた対照実験は知りませんが、どの分野でも大きく役立つと広く考えられています。公刊された記述から、いくつか例を挙げます。Fuzziら（2006年）：「一貫しない用語を使うと、大気・気候研究の異なる［分野］の専門家間の意思疎通で、誤解や混乱を招きやすく、そのため科学の進歩を妨げかねない」。Hinkel（2008年）：「専門言語は、たとえば科学分野の研究者である利用者が、対象分野について効率よく意思疎通することを可能にする」。Madinら（2007年）：「用語の曖昧さは科学の進歩を遅らせ、研究の重複を招き、最終的には生態学の統一的な基盤に向けた前進を妨げる」。))
- MIRIのエリエゼル・ユドコウスキーは、自分の考える「友好的AI研究」が、どの未解決問題からなるかを、より詳しく説明し始めました。
こうした進展によって、効果的利他主義としての友好的AI研究の価値を、以前よりよく評価できるようになりました。
それでも、これは難しい問いです。マラリアを防ぐ蚊帳や直接の現金給付の費用対効果を評価するだけでも、十分難しいのです。友好的AIなどを通じて遠い未来を形作ろうとする取り組みの評価は、それよりさらに難しくなります。したがって、この短い記事では、今後の議論のため、効果的利他主義としての友好的AI研究を支持する議論の概略を示します。徹底的な分析を意図したものではありません。
効果的利他主義としての友好的AI研究を支持する議論
Beckstead（2013年）は、次の主張を論じています。((博士論文に加え、「天文学的な浪費の議論への調整案」も参照。))
世界全体の観点では、期待値として最も重要なのは、今後、何百万年、何十億年、何兆年にわたって子孫が発展する大きな道筋にとって、期待値として最善のことをすることである。
なぜそう考えるのでしょうか。天文学的な事実は、ポスト人類を含む人類が何十億年、何兆年と存続でき（Adams、2008年）、したがって膨大な善を生み出せると示唆します。((ベックステッドは触れていませんが、この議論が成り立つのに道徳的実在論は必要ありません。実際、私を道徳的実在論者とは見なさない哲学者が大半でしょうが、私は彼の議論をおおむね受け入れています。もっとも、ある程度は言葉の意味の議論です（Muehlhauser、2011年、Joyce、2012年）。道徳的実在論者として、直感的な道徳判断が道徳的真理についてのデータだと考えるなら、この議論は、成功していれば、道徳的に真であることや、道徳的によく行動するには何をすべきかを教えます。道徳的反実在論者でも、直感的判断は自分が価値を置くもの、あるいは、価値とその矛盾の解消についてもっと考える時間があれば価値を置くだろうものについてのデータだ、と考えるなら、この議論は、成功していれば、自分が何を大切にし、その実現を助けるには何をすべきかを教えます。)) しかし、未来が生む価値は、私たちの発展の道筋によって変わります。21世紀に強力な技術で自滅すれば、未来の価値のほぼすべてが失われます。生き延びても、争いや不適切な判断が支配する道筋を進めば、利他性と知恵が支配する道筋より、未来はずっと悪いかもしれません。また、現在の行動の一部には、人類の発展の道筋を決める「波及効果」がありえます。((カーノフスキーはこれを「フロースルー効果」と呼んでいます。)) 多くの結果は経路依存的だからです。 したがって、存亡リスクの低減など、道筋の変化を直接・間接に引き起こす行動は、野生動物20匹の命を救うといった、身近な利益しか持たない行動に比べ、期待値としてはるかに大きな価値を持ちえます。彼はこれを、「未来を形作ることについての大まかな議論」と呼びます。
この議論の背後にある、たとえばリスク中立性などの規範的な仮定を受け入れるなら、遠い未来は、平均して少なくとも過去1世紀と同じくらいうまく進むとして、非常に価値があります。存亡リスクの低減は、世界の健康や貧困対策などの身近な利益を生むことや、発展を速めることより、ずっと重要です。発展の加速は、実際には存亡リスクを増すかもしれませんし、増さなくても、存亡リスクの低減より期待価値は小さくなります。
しかし、ベックステッドの結論は、必ずしも、世界全体で存亡リスク低減を最優先すべきだというものではありません。なぜなら、
存亡リスクを減らさずに、遠い未来へ大きく持続的な影響を与える別の方法があるかもしれない……。価値観や社会規範の持続的な変化によって、未来は［ある割合だけ］よくも悪くもなりうる……。確かに、人類の存続に関わる破局を防げれば、小さな道筋の変化を起こすよりよい。しかし、小さなよい変化を起こすほうが、ずっと容易かもしれない。
この議論が示唆するのは、むしろ「遠い未来を形作るうえで最も重要なのは、道筋によい変化を起こし、悪い変化を避けることだ」ということです。存亡リスクの低減は、よい変化の重要な一種類であり、期待価値が最も高い介入策かもしれません。
一つ、重要な補足が必要です。身近な利益や発展の加速に取り組むことが、重要な道筋の変化をもたらす大きな波及効果を持つなら、「直接」道筋を変えようとするより、大きな善をなすかもしれません。たとえば、インドのヨウ素欠乏問題を解くような「普通の利他的な取り組み」が、2世代後に世界水準の優れた思考者を何千人も「追加」で生み出し、人類が重要な21世紀を賢明に切り抜け、星々へ広がる確率を高めるかもしれません。そうなる可能性が高いとは考えていません。あくまで例示です。
議論のために、「期待値として最も重要なのは、子孫が発展する大きな道筋にとって、期待値として最善のことをすることだ」という、彼の中心的な主張に同意するとしましょう。さらに、私と同じく、機械超知能はおそらく避けられないと考えているとします。((詳しい議論はBostromの近刊を参照。機械超知能が生まれない最もありそうな理由は、人間レベルのAIができる前に、世界的な破局で科学の進歩が止まることかもしれません。))
その場合、友好的AI研究は、遠い未来を大きくよい方向に形作る、とりわけ見通しやすく効果の大きな方法だと考えるかもしれません。「遠い未来に与える影響のほぼすべては、機械超知能の発展への影響を経由しなければならない」からです。ほかのあらゆる発展の流れは、機械超知能の圧倒的な実行力、具体的には、明示的・暗黙的、直接的・間接的にそこへ組み込まれた価値によって、上書きされるかもしれません。
そうなら、私たちの状況は、遠くの恒星系に入植する星間探査機を送り出すことに少し似ています。それらの恒星系が宇宙論的地平線の向こうへ遠ざかり、宇宙の膨張によって地球から二度と届かなくなる、その前にです。地球上のことで、その探査機の中身に影響しないものは、そうした恒星系へ影響しません（こちらのコメントも参照）。
この議論を覆しうる点
友好的AI研究が効率的な効果的利他主義だ、という以上の大まかな議論は、さらに詳しく肉付けする価値があります。((ベックステッドは私信で、次のような形式化を提案しました。ただし、必ずしも支持したわけではありません。「(1) 第一近似として、重要なのは人類の未来だけである。(2) 人類の未来は、ほかの何よりも、機械知能がどう発展するかに強く左右される。(3) したがって、機械知能の発展をよくするあらゆるプロジェクトに取り組むべきだという、非常に強い推定が働く。(4) FAI研究は、機械知能の発展をよくする最も有望な道である。(5) したがって、FAI研究を行うべきだという、非常に強い推定が働く」。Beckstead（2013年）は(1)の根拠を検討しています。Bostromの近刊は、主に(2)の根拠を検討します。(3)は(1)と(2)から、結論(5)は(3)と(4)から、非形式的に導かれます。私には、前提(4)が最も疑わしく、既存の文献で最も調べられていない部分に見えます。))
この議論を覆しうる点も検討するべきです。
- ベックステッドの大まかな議論の背後にある、規範的な仮定の一つ以上を退けるべきかもしれない。
- 遠い未来への影響のほぼすべてが、機械超知能の発展への影響を経由する、という主張は正しくないかもしれない。
- 友好的AI研究は、少なくとも現在、機械超知能の発展によい影響を与える、とりわけ効率的な方法ではないかもしれない。競合する介入策には、(1)AIリスクの戦略研究、(2)技術予測の改善、(3)科学全般の改善、(4)効果的利他主義と合理性の改善・普及、(5)その他、多くのものがありうる。
今後のブログ記事で、私を含む効果的利他主義コミュニティーのメンバーが、この議論をさらに展開し、覆しうる点を検討していきます。
謝辞
この記事に意見を寄せてくれた、カール・シュルマン、ニック・ベックステッド、ジョナ・シニック、エリエゼル・ユドコウスキーに感謝します。