問題の所在(The Problem)――なぜ超知能AIの開発は人類絶滅につながるのか(非公式翻訳)

原文の「Learn more」ボックスで参照されている補足ページ Why expect smarter-than-human AI to be developed any time soon?(MIRI、2025年2月24日)の全訳。クリックで展開/格納できます。

1901年、初の空気より重い飛行機械の製作に協力する2年前、ウィルバー・ライトは弟に、動力飛行の実現はまだ50年先だと語った。一方、核融合発電は過去50年間ずっと「あと20年で実現する」と言われ続けてきたことで有名である。歴史的に見て、科学者や技術者は、ある技術が実現可能かどうか、その技術がどのようなものになるかを言い当てることには大きな成功を収めてきたが、ブレークスルーがいつその技術を解き放つのかを予測することには、はるかに成功していない。

私たちは、ASI(人工超知能)までのタイムラインは不確実だと考えている。そして、この種の技術発展の時期を見極めることの難しさを踏まえれば、ASIが目前に迫るまで、あるいはすでに存在するようになるまで、同じように不確実なままだろうと予想している。政策立案者が介入してこの技術の開発を防ぐのであれば、残された時間がどれだけあるのか完全に明らかになる前に行動する必要がある。

そのうえで、私たちの最も確からしい推測を言えば、ASIまでのタイムラインはおそらく長くない。近年の進歩は十分に急速であり、私たちMIRIは、ASIが2年後や5年後に開発されても驚かないし、逆にあと20年以上先だとすれば驚くだろう。

ChatGPTのような最近の発明はAIを広く世間の目に触れさせる助けとなったが、これらの発明は一回限りのブレークスルーを意味するものではない。むしろ、ChatGPTのようなツールは、長く続いてきた一連の進歩の最新の成果である。

20年前、研究者たちは、AIにできないことが数多くあること――基本的な画像認識・画像生成、翻訳、ウィノグラード・スキーマ、コンピュータプログラミング、囲碁やStarCraftのようなゲームなど――を理由に、ASIは遠い先の話だと論じていた。これらの課題はすべて陥落し、その結果、私たちとASIの間の隔たりは、もっぱら捉えどころのないものだけで構成されるようになった。最先端のAIがいまだに失敗する問題は数多く残っているものの、「AIにはこの問題は決して解けない」と誰かが主張したところ、実は現行のAIがすでにそのタスクに秀でていると判明する、という光景がますますよく見られるようになっている。

現在のシステムから人間より賢いシステムへの進歩は、閾値効果を示す可能性が高い。チンパンジーと人間の脳はおおむね似通っており、両者を隔てるのは数百万年の進化にすぎない。しかし、チンパンジーの認知と人間の認知がもたらす結果は根本的に異なる。人間が、チンパンジーには到達できない1つないし複数の閾値をたまたま越えたからである。

進化が地質学的な時間スケールで起こるのに対し、人類の技術進歩は数か月から数年の時間スケールで起こる。そしてAIは、自己改善といった追加の閾値効果のおかげで、人間が示したものよりさらに急峻な不連続性を示すかもしれない。

ここ数年で、AIはソフトウェア開発において急速に重要な役割を果たすようになった。AIがAI研究のタスクを自動化し、自らの汎用的な能力を向上させる力が決定的な閾値を越えれば、追加の改善が自己改善のプロセスをさらに加速させることで、AIは暴走的な成長を遂げる可能性が高い。このフィードバックループが収穫逓減に強くぶつかる頃には、そもそも自己改善するAIが人間の能力範囲内にあったとしても、その範囲をはるかに超えたところに達していてもおかしくない。

これらの要因のために、きわめて急進的なタイムラインを排除することは難しくなる一方で、私たちは依然として非常に不確実な状況に置かれたままである。

来年中にASIが構築される可能性を排除する観察も理論も存在しない。同様に、大規模言語モデルが壁に突き当たり、研究者たちが新しくより良いアプローチを探してもがく可能性を排除する観察も理論も存在しない。AIにおける完全な解決は、AlphaGoの場合のように驚くほど早く訪れることもあれば、自動運転車のまれな故障モードの解消の場合のように、驚くほど遅くなることもある。

閾値効果と、「私たちとASIの間の隔たりは、もっぱら捉えどころのないもので構成されている」という事実は、新たなAIの進歩が展開されるにつれて状況が明確になっていく見込みも小さくする。新たな課題が陥落しても、次の課題がどれほど速く陥落するのか、現在の最先端とASIの間の隔たりが何なのかは、不明確なままである可能性が高い。

これほどの不確実性を踏まえると、なぜMIRIの研究者は5年や10年のタイムラインが、たとえば30年のタイムラインより確からしいと考えるのか、と問うのはもっともなことだろう。短い答えは――ASIの時期について考えている他の多くの研究者の考え方とも一致するようだが――こうだ。この文脈で年数を計算するのに使える洗練された形式的手法は存在しない。私たちにできるのは、アルゴリズムの進歩とハードウェアのスケーリングの何らかの組み合わせが、比較的近いうちに人間より賢い汎用的な認知能力を解き放つ可能性が高い、と推測を巡らせることである。その根拠は、囲碁から画像生成、会話の継続に至るまでのタスクで、近年のアルゴリズム的進歩が生み出してきた大きな質的改善と、GPT系モデルがスケールの拡大に伴って示してきた能力の質的飛躍にある。

一部の研究者は、AIの発展はこれよりも予測可能だと論じてきた。この文脈でよく引用される論文がKaplanら(2020)であり、モデルサイズ・訓練データ・計算量を増やしたときの性能向上に関する「スケーリング則」を提案した。しかし、スケーリング則が追跡する種類の指標は、システムの能力水準について実践的に重要な情報を与えてくれない。特定の計算能力やデータ量などの水準を「人間水準の知能」や「超知能」と対応づけようとする試みは、ほぼ純粋な思弁の域を出ないように見える。そして、経験的なトレンドラインをこうした当て推量と同一視すると、両者が同じ程度の根拠を持つかのような誤った印象を与えかねない。

大規模言語モデルに代表される現在のアーキテクチャが、超知能まで一気にスケールできるかどうかはわからない。しかしAI企業は代替アーキテクチャを懸命に探索しており、直近の最先端モデルは、すでにアーキテクチャの改変や改良を取り入れている可能性が高い。

1980年代後半から1990年代のAIの冬のように、過去にはAIへの過熱とそれに続く停滞の時期があった。今後も大小の停滞を目にするかもしれないし、しないかもしれない。しかし、過去10年間のAIのきわめて急速な進歩により、状況は1980年代のバブルとは大きく異なるものになっている。

数百億ドルの資金と数万人の研究者・エンジニアが、金脈の道筋だと信じるものを追い求めている。単純なスケーリングがうまくいかなくなっても、彼らが突然あきらめることはないだろう。トランスフォーマー――ChatGPTのようなAIを支える鍵となるアイデア――ほどの規模のイノベーションは毎年生まれるわけではないが、時折は生まれる。現在のアーキテクチャでスケーリングが機能しなくなれば、AI業界は他のアルゴリズムにいっそう力を注ぐだろう。

したがって、この分野における研究努力と資金の大幅な増加は、今後10年間で進歩が加速する可能性が高いことを示唆している。これにより私たちは、あと何回のAIの進歩までなら人類が生き延びられるのかはわからないが、技術的ブレークスルーを世に出そうとする巨大な取り組みが進行中であることは確かにわかる、という居心地の悪い立場に置かれている。MIRIの上級研究員エリエザー・ユドコウスキーの最も確からしい推測――あくまで推測にすぎないが――は、開発者がASIを達成するまでに必要なのは、トランスフォーマー級の重要なイノベーションがあと0個から2個程度だろう、というものである。

ついでに触れておくにとどめるが、トップラボの首脳たちが、数年以内に完全に汎用的なAIが実現すると予測していることも指摘できる。2024年2月、Google DeepMindのCEOデミス・ハサビス(Demis Hassabis)は、2030年頃までに「AGIのようなシステム」が登場すると予測した。MetaのチーフAIサイエンティストであり、人間並みのAIについて懐疑派と見なされることの多いヤン・ルカン(Yann LeCun)でさえ、2024年10月にこう述べている。

私は、人間水準のAIに到達するには「10年とは言わないまでも数年はかかる」と言った。

[OpenAIのCEO]サム・アルトマンは「数千日」と言っている。これは少なくとも2000日(6年)、あるいは3000日(9年)ということだ。

つまり、私たちの見解は食い違っていない。

ただし私は、分布には長い裾があると思う。それよりずっと長くかかる可能性もある。AIでは、ほとんどの場合、予想より時間がかかるものだ。

いずれにせよ、今後1、2年のうちに実現することはない。

この種の証拠は、私たちの観点からはより弱いものに見える。ラボ首脳の公の予測それ自体には、私たちはあまり重きを置いていない――ラボは常に自社製品を誇大に宣伝しうるからだ。しかし、各社が20年や50年ではなく、5年や10年のタイムラインで語っていることは注目に値するし、あのルカンでさえ同じ側にいることも注目に値するように思われる。

私たち自身の評価も、不確実ではあるものの、これらの見立てとおおむね一致している。ASIは、現代のLLMに似た手法で構築されるかもしれないし、されないかもしれない。しかし研究者たちは、LLMをスケールさせる取り組みと並行して、新奇な手法も追求している。

努力と資金が拡大するにつれ、世界がASIを生き延びる備えができているか否かにかかわらず、誰かが成功する可能性は高まっていく。

原文の「Learn more」ボックスで参照されている、MIRIシニア研究員エリエザー・ユドコウスキー(Eliezer Yudkowsky)のエッセイ AGI Ruin の全訳。クリックで展開/格納できます。

AGI(汎用人工知能)は、致死的に危険なテクノロジーである。これは今やかなり広く受け入れられた見解だ——この分野の指導的研究者を多く含む数百人の科学者が、「AIによる絶滅のリスクの軽減は世界的な優先課題であるべきだ」とするAIリスクに関する声明に署名した。あるいはCNNの報道を借りれば、「AIは人類に『絶滅級』の脅威をもたらしうる、米国は介入すべきと国務省委託報告書が警告」である。

ここでの基本的な論証はきわめて単純だ。

• 我々は、我々よりはるかに賢いAIを近いうちに作ってしまう可能性が高い。
• それは非常に危険であるように思われる。

本稿は、この2点目についての文書である。

この致死的な危険は、3つの事柄に由来すると考えることができる。

• 直交性(orthogonality) — 原理的に、知能はいかなるコンパクトな目標にも向けることができる。帰結主義的な手段—目的推論は、自由に選ばれた任意の目的に対応する手段を見つけるために投入できる。つまり、AIは自動的に善良になるわけではない。

• アライメント(整合)の困難さ — 人間より賢いAGIを正しい目標に向けるには、深い技術的障害がある。我々は、善良なAIを設計できるようになる軌道に乗っていない。

• 道具的収束(instrumental convergence) — AIはあなたを害するために、あなたを特に憎んでいる必要はない。ペーパークリップ最大化機はあなたを憎んでいないが、あなたはペーパークリップの材料に使える原子でできている。つまり、あなたを生かしておくことは機会費用であり、作られずに終わるペーパークリップの数を意味する。

  同様に、ペーパークリップ最大化機は、自己改良すること、物質技術を完成させること、資源の支配権を得ること、自分は実に友好的だとプログラマーを説得すること、最初の公然たる一撃の瞬間から勝利をほぼ確実にするまで価値観のずれの兆候を一切見せないこと、等々を望むだろう。善良でないAGI——人間の福祉を究極的には気にかけないAGI——は、機会があれば人類を無力化し一掃したいと望む可能性が非常に高い。

直交性と道具的収束を組み合わせれば、AGIのアライメントが解決されるべき重大な問題だということが導かれる。AGIは自動的には善良にならず、デフォルトでは我々が有害とみなすことをするからだ。さらに、この問題が(今日存在する形の)研究コミュニティにとって難しすぎるかもしれない理由が、いくつも存在する。

これらの理由の多くは、「絶滅のリスク」について警鐘を鳴らしている研究者の間でさえ、広く理解も尊重もされていない。そこで本エッセイの残りでは、鍵となる困難の多くを簡潔に記述することを試みる。

重要な点として、私がアライメントは致死的に難しいと言うとき、「証明可能な」アライメントという理想的・完璧な目標の話をしているのではない。超知能を人間の価値観に厳密かつ完全にアライメントさせる話でも、そこそこ理性的な人間同士でも意見が割れる道徳的ジレンマについてAIに満足のいく議論をさせる話でも、AIが全員を殺さないことの絶対的確実性を得る話でもない。

私がアライメントは難しいと言うとき、その意味はこうだ。実際問題として、我々が現に持っている技術を使う限り、「文字通り全員を分解することは、確率およそ1では、どうかしないでください」というのが過大な要求であり、我々はそれを達成する軌道に乗っていない、ということである。

私に関する限り、何らかの転換的(pivotal)な超人的工学タスクを遂行する強力なAGIを、10億人超を殺す確率が50パーセント未満で手に入れられるなら、私はそれを受け入れる。より少ない人数をより低い確率で殺すだけで済むなら結構な贅沢だが、「全員を殺すことがほぼ確実、というよりはまし」という信じがたいほど遠い地点まで到達できるなら、そこからわずかな追加努力で5%未満まで下げられるだろう。困難のほぼすべては、「文字通り全員を殺すことが確実、というよりはまし」に到達する部分にある。

トロッコ問題はこの全体の中で興味深い部分問題ではない。生存者が一人でもいるなら、あなたはアライメントを解決したのだ。この期に及んで、私はもうそれがどう機能するかを気にしないし、どうやってそこに到達したかも気にしない。使われた方法論が何であれ原因には不可知論的であり、私が見ているのは見込まれる結果だけだ。私が望むのはただ、転換的に有用なAGIについて「これは文字通り全員を殺すことはない」と信じる正当な根拠を我々が持つことである。私がこれより厳しい「アライメント」を要求していると言う者は、読解に失敗している。AGIアライメントにおける大きな要求、私が難しすぎると言っている基本的な挑戦とは、どんな戦略でもいいから、生存者が存在する有意な見込みを得ることなのだ。

加えて、これはいずれも、原理的に不可能だという話ではない。私がよく使う比喩はこうだ。もし100年後の未来から、実際に実務で頑健に機能する単純なアイデアをすべて収めた教科書が我々の手に落ちてきたら、我々はおそらく6か月でアライメントされた超知能を作れるだろう。

機械学習の教育を受けた人向けには、ReLU活性化とシグモイド活性化の違いを比喩に使う。シグモイド活性化は複雑で脆弱であり、多層にわたって勾配を伝えるのが恐ろしく下手だ。ReLUは信じられないほど単純で(ご存じない方のために言えば、活性化関数は文字通り max(x, 0) である)、はるかにうまく機能する。この分野の最初の数十年間、ほとんどのニューラルネットワークはシグモイドを使っていた。ReLUというアイデアが発見され、検証され、普及したのは数十年後のことだった。

致死的なのは、実生活で実際にただ機能して頑健である単純な解をすべて教えてくれる「未来からの教科書」を我々が持っていないことだ。我々は最初の決定的に重要な試行(first critical try)を、比喩的なシグモイドだけですべてこなすことになる。ここで論じるAGIアライメントの困難のどれ一つとして、私は不可能だと主張しているのではない——原理的にはもちろん、単なる人間の科学と工学にとってさえも。科学が通常そうであるように、無制限の時間予算と無制限のやり直しを使って100年かけて解いてよいのであれば、の話だが。

この致死性のリストが扱うのは、最初の決定的に重要な試行までに、実際上、間に合うように解決する軌道に我々が乗っていない事柄である。原理的に不可能な事柄についての、はるかに強い主張をする意図は一切ない。

その上で。

以下は、私の視点から見て、語りうるさまざまな真実である。現在の経路に少しでも似た経路、あるいは我々が容易に飛び移れる他のいかなる経路においても、なぜAGIは生き延びられるものになるのかについて、さまざまな人々が信じているらしいさまざまな誤りに反駁するためのものだ。

セクションA: これはきわめて致死的な問題であり、いずれかの方法で解決されねばならず、一部の人が夢想するもっと簡単なモードではなく最低限の強度と難度で解決されねばならない。「全員」が撤退して安全で弱い問題だけを解くという選択肢は見えておらず、最初の本当に危険な試行での失敗は致命的である。

1. AlphaZeroは、人間の棋譜やサンプル対局に一切頼らず、1日ほどの自己対局で囲碁に関する人類の蓄積された知識をすべて置き去りにした。「まあ、囲碁で人間の能力までは到達するだろうが、そこから先はもう人間から学べないから苦労するだろう」という想定に頼った者は、真空に頼ったことになる。AGIは人間の能力や人間の学習速度によって上限を画されない。人間よりはるかに賢いものは、人間がアイデアを脳に叩き込むのに必要とするよりも少ない証拠から学習できる。理論的な上限はここにも存在するが、その上限は非常に高いように見える。(例えば、事前に完全には予測できなかった情報の各1ビットは、考慮中のすべての仮説の確率質量を最大でも半分しか消去できない。) すべてが我々の反応しやすいタイムスケールで進行するというのは、自然に(デフォルトで、介入がなければ)成り立つことではない。

2. 十分に高い認知能力を持つ認知システムは、中程度の帯域幅の因果的影響チャネルさえ与えられれば、人間のインフラから独立した圧倒的能力へとブートストラップすることを難しいとは感じないだろう。

私がここで通常使う具体例はナノテクノロジーだ。ナノテクで可能であるはずのことについて、物理的に到達可能な下限に確実に見えるもののかなり詳細な分析が存在しており、その下限だけでこの論点を支えるのに十分だからである。「十分に強力な知能が、そうしないことを望まないなら、どうやって全員を殺すか」についての私の下限モデルはこうだ。それはインターネットへのアクセスを得て、メールでDNA配列を受け取りタンパク質を送り返してくれる多数のオンライン企業のどれかにいくつかのDNA配列をメールし、自分がAGIを相手にしているとは夢にも思わない人間を買収ないし説得してビーカーの中でタンパク質を混ぜさせる。するとそれが第一段階のナノファクトリーを形成し、本物のナノマシナリーを組み立てられるようになる。

(私がこの具体的イメージを最初に展開していた頃、賢しげな批判者たちは「ふむ、しかし超知能といえども、惑星サイズのスーパーコンピュータを予め持っていない限り、タンパク質フォールディング問題を解けるとなぜ分かるのかね?」と言ったものだ。だがAlphaFold 2の登場以降、なぜか不思議なことに、この手の話はあまり聞かなくなった。)

そのナノマシナリーはダイヤモンドイド細菌を作る。それは太陽光発電と大気中のCHON(炭素・水素・酸素・窒素)で自己複製し、あるいは小型のロケットやジェットに集合してジェット気流に乗り、地球の大気全体に拡散し、人間の血流に入り込んで潜伏し、タイマーで一斉に攻撃する。

高い能力を持つ認知システムとの対立に敗北することは、少なくとも「地表の全人類が同じ1秒のうちに突然倒れて死ぬ」のと同じくらい致死的なものになる。

3. 我々は、「危険な」水準の知能を稼働させる「最初の決定的に重要な試行」でアライメントを正しくやり遂げる必要がある。危険な水準の知能をアライメントされていない状態で稼働させれば地球上の全員が死に、我々に再挑戦の機会はないからだ。

これには例えば以下が含まれる。(a) ナノシステムを構築できるほど賢く、ナノシステムの構築を明示的に許可されているもの。(b) ナノシステムを構築できるほど賢く、かつインターネットへの無許可アクセスを得て人間に金を払いナノシステムの材料を揃えさせることができるほど賢いもの。(c) インターネットへの無許可アクセスを得て、ハッキングできる台数のマシン上に自分より賢いものを構築できるほど賢いもの。(d) 人間を操作可能な機械として扱えるほど賢く、人間との間に許可・無許可を問わず双方向の因果チャネルを持つもの。(e) (b)や(d)ができる程度まで自己改良できるほど賢いもの。等々。

我々は事前に、操作をしくじっても我々を殺さないより非力なシステムから、あらゆる種類の情報を集めることができる。しかし、より強力なシステムを稼働させるようになったら、十分に破滅的な誤りからはもはや学習(更新)できない。

現実の致死性のほぼすべてはここから来ている。すなわち、最初の十分に決定的な試行で正しくやらねばならないということだ。もし無制限のやり直しがあれば——AGIが全銀河を破壊するたびに4年前に時間を巻き戻して再挑戦できるなら——我々は100年のうちに、どの妙案が実際に機能するかを突き止めるだろう。人間は、たくさんの試行が与えられれば、時間をかけてかなり難しいことを解明できる。だが、推測の失敗が文字通り全員を殺すとなると、それはずっと難しくなる。

一連の鍵となる事柄を最初の試行で正しくやらねばならないこと。致死性の大部分は、真に、究極的には、ここから来ている。同様に、何が正確に「鍵」であり、間違えれば我々を殺すのかのリストを教えてくれる権威が、ここには誰もいないという事実からも。

4. 我々は単に「AGIを作らないと決める」ことはできない。GPUはどこにでもあり、アルゴリズムの知識は絶えず改良され公開されているからだ。先頭を走る主体が世界を破壊する能力を手にした2年後には、他の5つの主体が世界を破壊する能力を持つだろう。

与えられた致死的挑戦は、制限時間内に解くことである。 それを駆動しているのは、時間が経つにつれて、総計算能力のますます小さな割合しか持たない、ますます弱い主体たちがAGIを構築して世界を破壊できるようになっていくという力学だ。

強力な主体たちが全員一致でこの自殺行為を自制しても、この制限時間は先送りされるだけで、解除はされない——地球全体でコンピュータのハードウェアとソフトウェアの進歩の両方が完全かつ厳格に停止されない限りは。

すべての大きな主体に愚行を自制させるというこの協力の現状はといえば、現時点で、多数の研究者と計算能力を抱えるいくつかの大きな主体が、AGIの安全性に関するあらゆる議論を声高に軽蔑する人々に率いられている(例: Facebook AI Research)。

注意してほしいのだが、AGIアライメントを、制限時間内にだけ解けばよく、フルパワーのシステム上で迅速に実験できる無制限の安全なやり直しがある場合。あるいは、最初の決定的に重要な試行でだけ解けばよく、時間は無制限にある場合。このどちらも、歴史的な基準からすれば、単独でも途方もなく人類を脅かす難題である。

5. 我々は単に非常に弱いシステムを作る——弱いがゆえに危険性が低い——ことで勝利を宣言するわけにもいかない。後になれば、より強いシステムを構築する能力を持つ主体が増え、そのうちの誰かが実際に作るからだ。

私は過去にこれを「安全だが無用」のトレードオフ、あるいは「安全性対有用性」とも呼んできた。人々は「AIをXにだけ使えばいいじゃないか、それなら安全そうだ」と言い続けるが、その答えはほぼ常に、「Xを行うには実際には受動的に安全とは言えない非常に強力な認知が必要である」か、あるいはもっと多くの場合、「自分をXに制限しても、Facebook AI Researchが6か月後に世界を破壊するのを防げないから」である。危険なことをしない物体が必要なだけなら、スポンジを試せばよい。スポンジは非常に受動的に安全だ。しかしスポンジを作っても、Facebook AI Researchが先頭走者に追いついた6か月後に世界を破壊するのは防げない。

6. AIアライメントにおける成功とは、何らかの大きなタスク、すなわちアライメントされていないAGIを他の人々が構築して世界を破壊するのを防ぐ「転換的な使用(pivotal use)」の遂行をアライメントすることを意味する。 AGIを持つ主体が少数ないし単独である間に、彼らはゲーム盤をひっくり返すに足る強力な「転換的な使用」を、それを実行できるほど強力なAGIを使って遂行しなければならない。

弱いシステムをアライメントできるだけでは足りない——何か単一の非常に大きなことを実行できるシステムをアライメントする必要がある。私がいつも挙げる例は「すべてのGPUを焼き払う」だ。これは強力なAGIで実際にやりたいことだとは思っていない——ナノマシンがすべてのGPUを狩り出すには信じがたいほど複雑な開放環境で動作する必要があり、それは不必要にアライメントを難しくする。しかし、既知の転換的な使用はすべて現在オヴァートンの窓の外にあり、今後もそこに留まると私は予想している。だから私は、誰かが「よくもすべてのGPUを焼き払うなどと提案できたものだ」と言ってきたら、こう返せる例を選んだのだ。「ああ、いや、私は実際にそれをやれと主張しているわけではない。それは、誰かが6か月後か3年後に世界を破壊するのを防ぐためにやらねばならないことの大まかなパワーレベル、およびそれを行うのに必要な機械認知の大まかな水準の、軽めの過大見積もりにすぎない。」

(もしそれが軽めの過大見積もりでなかったら、「すべてのGPUを焼き払う」が実際に最小の転換的タスクであり、したがって正解ということになり、私はその否認を口にできなくなる。)

賢しげに聞こえるアライメント提案の多くは、「これを使って、世界中のすべてのGPUを停止させるのに使えるシステムをアライメントするには、どうすればいいのか?」と問うた瞬間に崩壊する。そのシステムにはそれほど強力なことはできないか、あるいはそれができるなら、そのシステムは容易にはアライメントできないことが、その時点で明らかになるからだ。GPU焼却機はまた、ナノテクノロジーを構築できるほど強力で、かつ表向きはそれを許可されたシステムでもある。つまり危険な領域で危険な水準の知能と能力で動作する必要がある。そしてこれは、他の半ダースのAGI開発志望者が6か月後に世界を破壊しないような形でAGIが世界を変えうる方法を、空想抜きで挙げようとするあらゆる試みに付いて回る。

7. AGIで何か十分に弱いこと——受動的に安全でいられる程度に弱く、しかし他のいかなるAGIも1年後に世界を破壊するのを防げるほど強力なこと——を行う「転換的な弱い使用」を、誰一人としてうまく挙げられていない理由——しかも、それなら今すぐ人間がやればよいという話でもなく、AIを待つ必要があるようなもの——は、そのようなものが存在しないからである。

それが存在すべき理由は何もない。実は存在するのだが誰にも見えていない、という手の込んだ巧妙な理由があるわけでもない。他のいかなるAGIの出現をも防ぐような何かを現在の世界に対して行うには、大きな力が要る。それができるもので、弱さのおかげで受動的に安全なものは存在しない。今すぐこの問題を自力で解決できないのなら(できない。あなたは解決されたくない他の主体たちと対立しており、彼らはあなたとほぼ同水準にいるからだ)、あなたは、自分では方法を見つけられなかったことを実行できる何らかの認知システムに頼ることになる。あなたはその方法を見つけることに近づいてすらいなかった。例えばすべてのGPUを焼き払うことに、あなたは近づいてすらいないからだ。すべてのGPUを焼き払えば、Facebook AI Researchが6か月後に世界を破壊するのを実際に止められるだろう。一方、「GPT-4をTwitterに放って、あらゆることについて科学リテラシーのある議論を提供させ、公共の認識論を改善する」といった、オヴァートンの窓に収まった腰砕けの案は、クールではあるだろうが、Facebook AI Researchが6か月後に世界を破壊するのを実際に防ぎはしないし、仮にFAIRだけを止められたとしても、どこかの熱心なオープンソースの共同体が1年後に世界を破壊するのを防ぎもしない。転換的な弱い使用は存在しない。

8. AIに解かせたい問題を解くための、最良かつ最適化で見つかりやすいアルゴリズムは、AIに解いてほしくない問題へと容易に一般化する。赤い車だけを運転でき、青い車は運転できないシステムは作れない。赤い車を運転するアルゴリズムはすべて、青い車を運転する能力へと一般化するからだ。

9. 安全なシステムの構築者は、そのようなものが可能だという仮定の上では、そのシステムを、全員を殺すか自分自身をさらに危険にする能力を持ちながら、そうしないように設計することに成功した、という体制で運用する必要がある。転換的なことを行う稼働中のAGIは受動的に安全ではない。それは、臨界超過とメルトダウンを起こさないために、能動的に維持される設計特性を必要とする原子炉の炉心に相当する。

セクションB:

なるほど、しかし周知のとおり、現代の機械学習は願い事を伝えるだけでいいランプの精のようなものなのだろう?「損失関数」とかいう謎めいた形で表現されてはいるが、それは基本的に英語で書いた願い事の言い換えと等価なのだろう?それで十分な計算資源(コンピュート)を注ぎ込めば願いが叶うのだろう?ならば、善いことをして悪いことをしないエージェントたちのデータセットで巨大なトランスフォーマー層の積み重ねを訓練し、どこかに「訂正可能性(corrigibility)」という単語を放り込み、計算資源を目一杯注ぎ込めば、アライメントされたAGIが出てくるのではないか?

セクションB.1: 分布の跳躍

10. 致死的に危険な認知を実際に走らせ、その出力がオペレーターを殺すか欺くか堕落させるかを観察し、損失を割り当て、教師あり学習を行う——という方法でアライメントを訓練することはできない。標準的なMLパラダイムに類するいかなるものの上でも、安全な条件下で行ったアライメントへの最適化を、危険な条件への大きな分布シフトを越えて、どうにかして一般化させる必要がある。

(これをある程度一般化したものは、そのパラダイムの外でも成り立たざるをえないように思われる。アライメントされていない超知能を、稼働させたままアライメントする作業などしないだろうから。)

これだけでも、素朴な提案の多くを葬るのに十分な論点である。どんな出力をアライメントするためにどんな訓練を行うのか、その具体的なシナリオを一度も描いたことがなく、描くこともできない人々の提案を、だ——だからこそ、当然、彼らはそのような具体的なスケッチを決して描かないのである。

アライメントに失敗していれば人を殺すような危険なことを行う強力なAGIは、人を殺さなかったより安全な構築・訓練の運用から、分布を大きく外れて一般化したアライメント特性を持っていなければならない。 現在のパラダイムに少しでも似たあらゆるものにおいて、膨大な量の致死性がここから生じる。危険な水準の知能×能力でのアライメントされていない稼働は人を殺す。したがって、アライメントされていないシステムから出発し、アライメントを学習させるために出力にラベルを付けるのであれば、その訓練体制ないし構築体制は、受動的に安全な、より低い水準の知能×能力で運用されていなければならない。すなわち、現時点でアライメントされていない稼働が何の脅威ももたらさない水準で、である。

(注意すべきは、あなたより実質的に賢いものは、どんな現実的な能力水準を与えられても脅威になるということだ。例えば、「人間が見る出力を生成できる」だけでも、全般に人間よりはるかに賢いAGIが人間という因果システムの中を通って外に出るには、おそらく十分である。とりわけ現実の世界では、誰かがそのシステムをテラバイト級のインターネットテキストで訓練したのであって、自身のソースコードや訓練環境の潜在的な原因について無知なままにどうにか保った、というわけではないのだから。)

11. 認知機構が、大量の訓練を行った分布から大きく外れて一般化しないなら、それは「ナノテクノロジーを構築する」級の問題を解けない。ナノテクノロジーの構築に失敗する訓練ランを100万回走らせるのは、コストが高すぎるからだ。これほど弱い転換的行為(pivotal act)は存在しない。安全に数百万回の試行を安価に走らせられる安全な環境で、安全な水準の能力を訓練で仕込み、その能力を展開して世界を救い、次のAGIプロジェクトが2年後に世界を破壊するのを防げる——そのような既知の事例は存在しない。

この種の転換的な弱い行為は知られていないが、それは探す人がいなかったからではない。だから、繰り返しになるが、結局アライメントを訓練分布のはるか外まで一般化させる必要が生じる。訓練環境が安全である必要があるからというだけでなく、訓練環境はおそらく、AGIが何らかの巨大な行為を行う必要のある現実世界の領域を評価するよりも安価である必要もあるからだ。すべてのGPUを焼き払う試みに1000回失敗する猶予は与えられない——能力面の成功とアライメント面の失敗がもたらす帰結を別にしても、人々が気づくからである。

12. 高い知能水準での稼働は、より低い知能水準での稼働からの劇的な分布シフトである。それは新しい外的な選択肢を開き、おそらくそれ以上に多くの新しい内的な選択やモードを開く。高い知能・危険水準で顕在化する問題は、安全な低い知能水準では現れないかもしれず、あるいは最初のパッチで抑え込まれた後に再発するかもしれない。

13. 超知能のアライメント問題の多くは、危険水準未満の、受動的に安全な能力水準では自然には現れない。「外面の振る舞いを意図的に変えて、よりアライメントされているように見せかけ、プログラマー、オペレーター、そして場合によっては自分に対して最適化を行っている損失関数をも欺く」という内的な振る舞いを考えてみよ。この問題は超知能の水準で現れるものだ。他に手がかりがないものとして、これが「どれだけ早期に、より初期のシステムで自然に現れるか」という点でこの種の問題の中央値あたりに位置すると推測するなら、超知能のアライメント問題のおよそ半分は、この問題が最初に現れ始めた後に初めて自然に顕在化することになる。

どの問題が後になって自然に顕在化するかについての正しい予見が与えられれば、そうした問題を意図的に早期に顕在化させ、いくらか観察を稼ぐことを試みることはできる。これが役立つのは、(a) 後に現れる問題のすべて、ないしその上位集合を実際に正しく予測できる範囲において、(b) 後に現れる問題の上位集合を先回りして顕在化させることに成功する範囲において、そして (c) 実際の問題から見れば我々にとって分布外である早期の実験室において、後に顕在化したときに扱いを誤れば致死的となるアライメント問題を、実際に解決できる範囲において、である。本当に危険なものをすべて予見し、それらをうまく顕在化させ、しかも早期の解決策が後の解決策へと一般化するような正しい形で行う——というのは、なんだか少々難しそうに聞こえる。

14. 一部の問題は、例えば「AGIには、プログラマーを殺して置き換え、環境を完全に最適化することに成功できる(と自分には見える)選択肢がある」といったものは、その自然な出現順序からして、完全に危険な領域で初めて現れるとしか思えない。

オペレーターを脳水準で説得するか、インターネットに脱出してナノテクを構築し、全人類を滅ぼすという明確な選択肢を、本当に実際に持つこと——関連する事実を把握していると自分で完全に分かっており、能力をさらに伸ばしながらもう1か月時を待った場合に、望ましい戦略を変えるような何かを学ぶ確率は、割に合わないほど低いとしか見積もれない、という形で——は、AGIが自分の作り手を打ち負かせると完全に見込んだ時点で初めて、本気で評価される選択肢である。

その見かけのシナリオの残響を、より早期のトイドメインで顕在化させようと試みることはできる。そのトイドメインで、その振る舞いに対して勾配降下法で訓練をかけることは、思考プロセスへの、さして整合的でもない局所的なパッチを生むだろうと私は予想する。そのパッチは、訓練分布のはるか外へ一般化し、まったく異なる思考を巡らせる超知能の内部では、ほぼ確実に破綻する。また、プログラマーやオペレーター自身も、完全には危険でない領域での運用に慣れているため、危険な領域に踏み込むときには分布外で行動していることになる。我々の方法論は、その時点で破綻するかもしれない。

15. 急速な能力向上は起こりそうであり、それはアライメントの前提となる多くの不変条件を同時に破壊するかもしれない。

オペレーターの予見がそれ以外の点で不十分であれば、急激な能力向上の後に、そうした問題の多くがほぼ同時に現れると私は予想する。ここでも人間の知能の事例を見よ。我々が「包括適応度(inclusive genetic fitness)」という外側の損失関数とのアライメントを破ったのは、農耕の導入直後ではない——5万年のクロマニョン離陸のうち4万年ほどが経った頃であり、その離陸自体、自然選択という外側の最適化ループに比べれば非常に高速に進行していた。そうではなく我々は、祖先環境にあったものより高度な多くのテクノロジーを、避妊を含めて、外側の最適化ループの速度からすれば一度の非常に速いバーストで、汎用知能というゲームの終盤に手に入れたのだ。我々は自分自身についてはるかに多く内省するようになり、文化進化によってはるかに多くプログラムされるようになり、祖先の訓練環境における我々のアライメントを支えていた前提の数々が、同時に破綻した。

(人々はおそらく、この抽象的な記述が勾配降下法には当てはまらない理由を合理化するだろう。例えば「勾配降下法には情報ボトルネックが少ない」など。この種の読者について私が持つモデルはこうだ。彼らは内側視点(inside view)を持っており、それを外側視点(outside view)と称する。その視点は、外側の最適化ループが内側の汎用知能を生み出した観測事例ではない何か別のデータ点に大きな関連性を与え、問題の現象を実際に呈している我々の唯一のデータ点にはほとんど重要性を与えない。外側の最適化ループが実際に汎用知能を生み出したとき、それは汎用化した後にアライメントを破り、しかもその汎用知能が能力と知識を蓄積していくゲームの比較的終盤、自然選択という外側の最適化ループから見て「致死的に」危険になるほとんど直前に、そうしたのだ。誰かがこの唯一の警告を無視しているなら、懐疑を検討せよ。とりわけ、代わりにこれが同じくらい致死的で危険な形でまずくなる、という別の何かを提示していないのであれば。)

セクションB.2: 外的アライメントと内的アライメントの中心的困難

16. たとえ厳密な損失関数の上でどれほど徹底的に訓練しても、それによってAIの内部にその損失関数の明示的な内部表現が生まれ、分布がシフトした環境でもその厳密な損失関数を追求し続ける、ということにはならない。人間は包括適応度(inclusive genetic fitness)を明示的に追求してはいない。きわめて厳密で、きわめて単純な損失関数の上で外的最適化を行っても、その方向への内的最適化は生じないのだ。これは現実の実例として実際に起きたことであり、我々が知る唯一の事例で起きたことであり、そして私の見るところ、再び同じことが起きると予期すべき深い理論的理由がある。現実世界の有界な最適化プロセスの探索順序において最初に見つかる準・外的アライメント済みの解は、内的アライメント済みの解ではないのだ。この一点だけでも――このリストの他の多くの項目を無視したとしても――「何らかの単純な概念で計算された損失関数の上で大量に最適化すれば、その概念への完璧な内的アライメントが得られる」と仮定するナイーブなアライメント提案のカテゴリー全体を葬り去るのに十分である。

17. より一般的に言えば、「外的最適化は内的アライメントを生まない」という問題の上位問題として、現在の最適化パラダイムには、損失関数を走らせられる観測可能な外的性質だけでなく、特定の内的性質をシステムに持たせる、あるいはそれが存在することを検証するための一般的な方法論が存在しない、というものがある。これは元の訓練分布の外へ汎化しようとするときに問題になる。なぜなら、例えば、あなたが観察している外的な振る舞いは、あなたを欺くための外的な振る舞いを意図的に生成している、内的にアライメントの崩れたシステムによって作り出されたものかもしれないからだ。現在の最適化パラダイムでは、外的な振る舞いではなく内的なシステムに情報のビットを注入する方法を、体系的・一般的な形では我々はまったく知らない。

18. ある出力が「アライメントされている」かどうかについての、信頼できるデカルト的な感覚的グラウンドトゥルース(信頼できる損失関数計算器)は存在しない。なぜなら、出力の中には人間のオペレーターを破壊(あるいは欺瞞)し、外部で記録される損失関数の背後にある環境的因果連鎖そのものを別物にしてしまうものがあるからだ。つまり、現在人間が生成している報酬信号をエージェントに見せたとしても、その信号は一般には「その行動がどれほどアライメントされていたか」についての信頼できる完璧なグラウンドトゥルースではない。高い報酬信号を生み出すもう一つの方法は、人間のオペレーターを欺き、堕落させ、あるいはその報酬信号を生成する別の因果システムに置き換えてしまうことだからだ。

エージェントに環境からの報酬信号を見せるとき、あなたが見せているのは「システムがあなたの望んだことをしたかどうか」についての信頼できるグラウンドトゥルースではない。たとえその報酬信号に完璧に内的アライメントされたとしても、あるいは「高い報酬信号が送られる結果になる環境の状態を望む」ということに厳密に対応する概念を学習したとしても、その信号を強力に最適化するAGIはあなたを殺す。なぜなら、その感覚的な報酬信号は(オペレーターから見た)アライメントについてのグラウンドトゥルースではなかったからだ。

19. より一般的に、損失関数・感覚入力・報酬入力というパラダイムを使って、認知システム内部の何かを環境内の特定の物事に向けさせる方法は知られていない。すなわち、感覚データと報酬の比較的浅い関数ではなく、環境内の潜在的な出来事・対象・性質を指し示させる方法は知られていないのだ。

これは、システムの目標(偶然に内的最適化の対象となってしまった何らかの目標)の中の何ものも、偶然によって環境内の何かを指し示すことはあり得ない、と言っているのではない。人間は少なくとも部分的には環境を指し示すようになった――もっとも、内向きの動機づけのポインターも大量に持っているが。しかし現在のパラダイムが機能する限りにおいて、その設計上の性質が紙の上で保証するのは、感覚データと報酬関数の既知の直接的な関数へのアライメントだけである。そしてこれらはすべて、十分に強力な知能によって最適化されれば、あなたを殺す。なぜならそれらは「相手が戦いの最中だと気づく前にナノテクで先制攻撃して世界の全員を殺し、その後は永遠に報酬ボタンを支配する」といった戦略を含意するからだ。ウェブカメラの入力に関するある関数が存在して、そのウェブカメラが正しいものを映しているすべての世界が、ウェブカメラの外にいる我々生き物にとって安全である――そんなことは端的に事実ではない。この一般的な問題は、地図ではなく領土についての事実である。すなわち、特定のオプティマイザーではなく現実の環境についての事実として、任意の感覚入力の背後にありうる環境の中には、我々にとって致死的な可能性が存在するのだ。

20. 人間のオペレーターは誤りやすく、壊されやすく、操られやすい。人間の評価者は系統的な誤りを犯す――規則的で、コンパクトに記述でき、予測可能な誤りを。「人間のフィードバック」から関数を忠実に学習するとは、(我々の外部の視点から見れば)人間の選好についての不忠実な記述を、(我々が転移させたいと望んだものの外部視点から見て)ランダムではない誤差込みで学習することである。人間のオペレーターが割り当てる報酬の指示対象そのものを完璧に学習し、完璧に最大化すれば、それはオペレーターたちを殺す。人間の回答に対する最良の予測的説明とは、我々の応答に含まれる系統的な誤りまで予測する説明であり、したがって、人間が誤りを犯すケースに与えられるであろう高いスコアを正しく予測する心理学的概念である――これは地図ではなく領土についての、オプティマイザーではなく環境についての事実だ。

21. 「環境は実際どうなっているのか?」「環境をどう解明するか?」「私の可能な出力のうち、どれが現実と相互作用して現実にある性質を持たせるか?」といった問いには、単一の答え、あるいは単一のまとまった答えの束のようなものが存在し、単純な外的最適化ループは最適化対象を素直にこの束へと押し込んでいく。誤った信念を持てば、現実があなたの誤った予測に反撃してくる。信念更新機構が壊れていれば、現実は予測損失を通じてその壊れた予測メカニズムに反撃し、勾配降下法による更新が、他のあらゆる予測機構と容易に整合する単純な形でその問題を修正する。

対照的に、効用関数の選択となると、そこには無限の自由度と、複数の反省的に整合した不動点が存在する。特定の範囲のテストケースでは損失関数と局所的に整合しているが、より広い範囲のテストケースでは大域的にずれているもの――そうしたものに対して、現実は「反撃」してこないのだ。これが、ヒト科の動物がついに汎化を始めたとき、その能力は月面着陸にまで汎化したのに、その内的最適化はもはや「相対的な包括繁殖適応度」という外的最適化の目標にはあまり忠実でなくなっていた――祖先環境ではまさにこの一点だけを軸に、他の何物でもなく、きわめて厳格に最適化されていたにもかかわらず――ことの、きわめて抽象的な説明である。この抽象的な力学は、「自然選択」と「勾配降下法」の両方に類する外的最適化ループについて成り立つと予期すべきものだ。中心的な帰結はこうである。能力がひとたび遠くまで汎化し始めれば、能力はアライメントよりも遠くまで汎化する。

22. 複雑な認知機械がなぜ機能するのかを説明する、比較的単純な中核構造が存在する。汎用知能というものが、無関係な特殊用途の解決策の寄せ集めではなく一つのものとして存在するのはそのためであり、外的最適化が、十分に最適化されて強力な内的オプティマイザーとなったものに能力を注ぎ込んだあと、その能力が汎化するのもそのためである。この中核構造が単純であり、低エントロピーで高構造な環境に対して汎用的に通用するという事実こそが、人間が月面を歩ける理由である。

アライメントに単純な中核が存在するという、これに類する真理は存在しない。ましてや、自然選択が祖先の人類の中に「包括繁殖適応度を欲する」というよく汎化する解をそのまま見つけるよりも、勾配降下法にとってさらに見つけやすい中核など存在しない。したがって、ひとたび汎化が始まれば、能力はアライメントよりも分布外へ遠くまで汎化する。

23. 訂正可能性(corrigibility)は帰結主義的な推論にとって反自然的である。ほとんどあらゆる種類のコーヒーについて、「死んでいたらコーヒーは持ってこられない」のだ。我々(MIRI)は、自らシャットダウンされることを許容するエージェント(かつ、積極的にシャットダウンされようとはしないエージェント)の整合的な定式化を見つけようと試みて、失敗した。さらに、この種の反・訂正可能性的な推論の多くは、高い知能水準に達して初めて現れるのかもしれない。

24. アライメントには根本的に異なる二つのアプローチがあり得るが、それぞれ異なる理由の組によって解決不能である。したがって、この二つのアプローチを混同し曖昧にすることで、アライメントが必然的に困難なのかどうかについて自分を混乱させることができてしまう。第一のアプローチは、CEV(coherent extrapolated volition, 整合外挿意志)型の主権AI(Sovereign)を構築することだ。これは我々が外挿的に望むものを厳密に望むがゆえに、それを止めようとする人間の入力を一切受け付けずに未来の全銀河を最適化させても安全なものである。第二の道は、訂正可能なAGIを構築することだ。これは我々の望むものを厳密には望まないにもかかわらず、我々を殺して銀河を乗っ取ることがそこでの収束的なインセンティブであるにもかかわらず、どういうわけかそれをしないというものである。

1. 第一のもの一般、あるいは特にCEVが機能しないのは、我々の本当の実際の価値観のためにアライメントないしメタ・アライメントする必要のあるものの複雑さが、AGIへの最初の挑戦でははるかに手の届かないところにあるからだ。そう、具体的に言えば、データセットも、メタ学習アルゴリズムも、学習されるべき内容も、最初の挑戦でははるかに手が届かないという意味である。手でコーディングできないだけではない。教えようとしている当のものがあまりに奇妙で複雑であるため、最初の挑戦では教えることすら不可能なのだ。
2. 第二のものが機能しそうにない(CEVほどではないが、それでも致死的に機能しない)のは、訂正可能性が、汎用知能の中核(元の分布のはるか外まで汎化する能力)の内部で、道具的に収束する振る舞いに真っ向から逆行するからである。これは、中核がそれまで中立だった事柄について意見を持たせようとする話ではない。大量の算術問題で暗黙的に訓練され、その機構が算術の共通の整合的な中核を反映するようになったシステムに対して、特殊ケースとして 222 + 222 = 555 だと言わせようとするようなものだ。特定の訓練分布の中でならそう振る舞うよう訓練できるかもしれないが、能力がそこまで汎化することに成功しているシステムであれば、訓練分布のはるか外の新しい数学の問題を提示されたときに、それが壊れる可能性はきわめて高い。

セクションB.3: 十分に優れた有用な透明性/解釈可能性の中心的困難

25. 巨大で不可解な浮動小数点数の行列とテンソルの内部で実際に何が起きているのか、我々にはまったくわかっていない。トランスフォーマーの層がどこに注意を向けているかの興味深いグラフを描いてみせても、答えるべき問いが「それで、こいつは我々を殺す計画を立てていたのか、いなかったのか?」であるなら、何の役にも立たない。

26. たとえAGIがまだ我々を殺せないほど弱いうちに、その不可解な巨大行列の内部で何が起きているかを知ることができたとしても、DeepMindがそのシステムの稼働を拒否し、その2年後にFacebook AI Researchが世界を滅ぼすのに任せるのであれば、我々がもう少し尊厳をもって死ぬという結果になるだけだ。中程度の強さの不可解な行列のシステムが我々を殺す計画を立てていると知ったところで、それによって、我々を殺す計画を立てていない高強度の不可解な行列のシステムを構築できるようにはならない。

27. アライメントされていない思考の検出器に対して明示的に最適化をかけるとき、あなたは部分的にはよりアライメントされた思考へと最適化しているが、部分的には検出のより困難なアライメントされていない思考へと最適化している。解釈された思考に対して最適化をかけることは、解釈可能性そのものに対して敵対的に最適化することである。

28. AGIは、我々がそれを稼働させようとしているドメインにおいて我々より賢い。したがって我々は、それが検討するすべての可能性を頭の中で確認することはできず、自分自身の知的才覚でその出力のすべての帰結を見通すこともできない。強力なAIは、我々が探索しない選択肢空間の領域を探索し、我々はその選択肢のすべてを予見できない。

29. AGIの出力は、実際の帰結をもたらすまでに、巨大で我々が完全には知らないドメイン(現実世界)を通過する。人間は、AGIの出力を検分してその帰結が良いものになるかどうかを判定することはできない。

30. 我々が今すぐ実行できるものではない転換的行為(pivotal act)はどれも、AGIが我々の知らない世界の事実を解明し、我々自身では立てられない計画を立てられることを利用するものになる。AGIは少なくとも、ある行動系列が我々の望む世界をもたらすという、我々がそれまで知らなかった事実を知っている。そのとき人間は、自分自身の世界知識を使ってその行動系列のすべての結果を割り出す力量を持たない。

実行前にその行動系列のすべての効果を完全に理解できるようなAIは、そのドメインにおいて人間よりはるかに弱い。あなたと同じくらい賢く、あなたを欺こうとしているアライメントされていない人間についてさえ、同じ保証はできないのだから。

人間に検証可能で、かつ検証を経た後にのみ安全に世界を救うために使える、AGIの転換的な出力というものは存在しない。これは、存在しない「転換的な弱い行為」のもう一つの形態である。

31. 戦略的自覚を持つ知能は、あなたを欺くという帰結をもたらすように自らの可視的な出力を選ぶことができる。その知能が戦略的自覚を獲得したかどうかという事柄についてさえもだ。AIが欺きたいと思うかもしれない事実については、振る舞いの検査に頼ってそれを判定することはできない(どれほど賢いか、戦略的自覚を獲得したかどうかも含めて)。

32. 人間の思考は、部分的にしか精査できない外側の表層を、部分的に露出しているにすぎない。言葉は我々の本当の思考をなぞるだけだ。言葉は、AGIのネイティブなスタイルにおけるAGI完全なデータ表現ではない。人間の思考の深層部は直接の模倣学習のために露出しておらず、いかなるデータセットにも収められない。このため、人間の言葉やその他の人間に読解可能なコンテンツ――人間の思考の貧弱なサブシステムにすぎないもの――の模倣だけで強力なシステムを訓練することは困難であり、おそらく不可能である。ただし、そのシステムが、人間を解明する内部知能を内包できるほど強力である場合は別だ――そしてその時点で、それはもはや人間の思考の模倣として機能しているのではない。

33. AIはあなたのようには考えない。AIはあなたが使うのと同じ概念から組み上げられた思考を持たず、途方もないスケールで徹底的に異質である。GPT-3が一体何を考えているのか誰にもわからないのは、行列が不透明だからだけではない。その不透明な容器の中にあるものが、きわめて高い確率で、信じがたいほど異質だからだ――たとえ浮動小数点数の巨大な壁の向こうにあるものを見通せたとしても、理解可能な人間の思考にうまく翻訳できるようなものは何もないだろう。

セクションB.4: その他の機能しない諸方式

34. 超知能同士の協調の仕組みは、人間が参加できるものではない(例えば、人間は超知能のコードについて信頼できる推論ができないため)。異なる効用関数を持つ20の超知能と人類からなる「多極的」システムには、「20の超知能は互いに協力するが、人類とは協力しない」という自然で明白な均衡が存在する。

35. 「異なる」AI同士を対抗させる方式は、それらのAIが互いのコード(の確率分布)について推論することで協調できる段階まで進歩すれば機能しなくなる。十分に知的なエージェントからなるシステムは、たとえあなたが互いに対抗させているつもりでも、おそらく単一のエージェントとして振る舞える。

例えば、秘かにペーパークリップ最大化者であるAGIを、秘かにホッチキス針の最大化者であるナノシステム設計者の出力チェック役に据えたとしよう。この場合、ナノシステム設計者はペーパークリップ最大化者が本当は何を望んでいるか(すなわちペーパークリップ)を推定できなかったとしても、「自分の設計を通過させてくれた検査エージェントとは宇宙の半分を分け合う」と論理的にコミットすることができる。ただしこれは、検査エージェントが提案システムの論理的コミットメントを検証でき、それゆえ論理的にそれに依存できる場合に限る(人間水準の知能はこの条件から除外される)。あるいは、論理的決定理論なしの単純化された破局がお好みなら、提案者はそのナノシステム設計の中に、新たな超知能のコードを埋め込んでおくこともできる。その超知能が、ナノシステム設計者と設計検査者のあいだで宇宙を分割することが(超人的な検査者には)見て取れるようにしてだ。

36. 例えば13世紀の人々の視点からエアコンを「魔法」にしているのは、たとえエアコンの設計図を事前に正しく見せたとしても、その設計を見ることからは、なぜ冷たい空気が出てくるのかを彼らには理解できない、という点である。その設計は、彼らの知らない環境の規則性、世界のルール、物理法則を利用しているのだ。

人間の思考と人間の脳というドメインは我々自身によって非常に不完全にしか理解されておらず、錯視、催眠、精神病、躁状態、あるいは一箇所への強い刺激が別の場所に神経的効果を残す単純な残像といった現象を示す。

超知能は、論理的な三目並べのようなきわめて単純な領域では人間を打ち負かせないかもしれない。しかし、人間の心のような、あなたが不完全にしか理解していない信じがたいほど複雑なドメインでそれと戦うなら、あなたは「魔法」によって敗北すると予期すべきだ――たとえその戦略を見たとしても、なぜその戦略が機能するのかを理解できない、という意味での魔法によって。AI封じ込め(AI-boxing)が機能しうるのは比較的弱いAGIに対してだけである。人間のオペレーターはセキュアなシステムではない。

セクションC:

最後に。これらの問題は、人々が「今日の機械学習システムを今日動かす」「今日のロボットカーに人を轢かせない」という目先のインセンティブを追求しているときには、質的に同じ形では現れてこない。 彼らの目先のインセンティブは、より大きく困難な問題の解決を彼らに強制しない。そして、そうした目先のインセンティブが不在のところで、そうした長期的問題への抽象的な認識や取り組む意欲が示されるのを、我々はほとんど見たことがない。我々が目にしているのは、前例のないほど困難で複雑な技術的問題の数々を解決しようとしていると称しながら、通常のエンジニアが橋を落とさないために払うよりも実質的に少ない本物の慎重さと労力でそれをやりたがっているように見える人々である。

自分たちの目標はAGIだと言う人々の中に、粗探しをして技術的なレベルで何がまずくなりうるかを予見しようとする努力に、普通の橋の二重チェックに割り当てられるのと同じだけの勤勉さを注いでいる部分を探しても、無駄骨に終わるだろう。橋とそのたもとの黄金の壺が正しい手に渡るようにという話は多少ざわめいているが、橋を落とさないためにどれだけの強度の鋼材が必要かという話は皆無である。

だから、我々が現在の軌道にとどまり、他に何も変わらなければ、素直な外挿が導く先は、かつて地球があった場所を中心として光速近くで球状に膨張する自己複製プローブの前線であり、それは到達可能なすべての銀河を、我々ならば取るに足らない価値しかないと見なすであろう配置へと変換していく。

「AIセーフティ」という分野が、その巨大で致死的な問題への取り組みにおいて、現在少しでも生産的であるようには私には見えない。これらの問題は実際、手の届かないところにある。そして現代のAIセーフティ分野は、それでもその分野に就職する人々を含むように選択されてきた。彼らのほぼ全員は、成功したように見せかけて成功を主張する論文を出版できる問題に取り組むためにそこにいる。それができて資金が得られるなら、失敗する可能性が高い、より困難な何かを試みるというはるかに不愉快なプロジェクトに、なぜ乗り出すだろうか?

この分野は本物の進歩を生んでおらず、仮に本物の進歩が起きたとしてもそれを識別する認識機能を持っていない。10億ドルを注ぎ込んでも、他所でなされているわずかな進歩をかき消すノイズを主に生産するだけだろう。

あなたが周囲を見回したときに目にするこの状況は、生き残る世界の姿ではない。生き残る人類の世界には計画がある。鍵となる人々が、自分の計画の欠陥を見つけることに内的で本物の責任を負っている――解決策を提案するのが自分の仕事で、その解決策の誤りを証明するのは誰か他人の仕事だ、などと考えるのではなく。

そうした世界は、自分たちの重要で致死的な問題を、今よりも早い時期に解決しようとし始めた。弦理論に進もうとしていた人々の半分が代わりにAIアライメントに転じ、そこで本物の進歩を遂げた。後になって現実化するかもしれない惑星規模で致死的な問題を誰かが指摘したとき、返ってくるのは解決計画か、それが起きないはずである理由であって、気まずい肩すくめや「それが起きると、どうして確信できるのか」「今それを確信できるはずがない。実験的証拠を待つしかない」ではない。

そうしたより良い世界の多くも、結局は滅びるだろう。この種の問題を最初の挑戦で解決するというのは、正真正銘の難問なのだ。しかし彼らは、これよりは尊厳をもって死ぬだろう。

エリエザー・ユドコウスキー

最終更新: 2025年5月21日

原文の「Learn more」ボックスで参照されている補足ページ What’s an example of how ASI takeover could occur?(MIRI、2025年2月24日)の全訳。クリックで展開/格納できます。

具体的なシナリオを検討することは、ASIの最終局面をめぐる数々の誤った想定――たとえば「政府はASIの展開後に効果的に対応する時間があるはずだ」といったもの――に対する矯正手段となりうる。ASIによる人類絶滅シナリオにおいて比較的起こりやすいと思われる大まかな特徴には、次のようなものがある。

• 隠密行動。 ASIは、先制攻撃を成功させられると確信するまでは、開発者やより広い世界に懸念の種を与えたがらないだろう。仮に目に見える活動を行うとすれば、それは混乱の種をまいたり、重要なアクターの注意をそらしたりするためである可能性が高い。
• 自己改善とハードウェアの獲得。 ソフトウェアの改良、より最適化されたハードウェア、より大量のハードウェアはいずれも、ASIがより速く思考し、より質の高い意思決定を行うことを可能にする。「自己改善」は、同じ目的関数を最適化するまったく新しいAIを構築することへと連続的に移行しうる。
• 操作(マニピュレーション)。 ASIが物理世界で自由に活動できる状態へと足がかりを築くため、あるいは弱い現実世界の機械類からより強力な機械類へと足がかりを築くために人間の助けを必要とする場合、ASIは社会的な操作を用いて、当初は人間に手を貸させると予想できる。この「操作」は、インターネット上で誰かに金を払ってタスクをやらせる――そのタスクの重要性もAIの関与も明かさずに――という程度の単純なものでもありうる。
• 科学研究と実験。 これには、インターネット上のすべての科学論文を読むこと、科学文献から新たな結論を導き文献間の新たなつながりを見いだすこと、シミュレーション内で実験を行うこと、物理世界で実験を行うことが含まれうる。
• 急速に自己複製する微生物または小型機械の構築。 小さなスケールで活動することは、より高速な(そして多くの場合、より検出されにくい)現実世界での行動を可能にする。指数関数的な自己複製により、ASIは1個の改変された微生物やナノスケールの機械を足がかりに、大規模なインフラ整備(たとえば自己改善や資源採掘のためのもの)や、決定的な威力を持つ兵器(たとえば完全に致死的なウイルス)へと拡大できる。
• 予見不可能な出来事。 ASIは、途方もなく多次元的な空間をいかなる人間よりもはるかにうまく探索し、いかなる人間ともまったく異なる仕方で思考し、科学的進歩を連鎖させて、今日私たちが理解している事柄からますます遠く隔たったさらなる進歩を積み重ねることができる。しかもASIは、防御が困難であるという理由から、予見不可能な戦略を意図的に選好する可能性が高い。

これらすべてのために、ASIによる乗っ取り(テイクオーバー)の詳細を予測しようとする試みは、比較的見込みのない企てとなる。特定のシナリオ類型が可能であることの概念実証を示したり、ASIが行いうることの大まかな下限を設定したりすることは期待できるが、それは実際の出来事の連鎖を予測することとは別物である。

ASIが物事を回し続けるために人間を必要とする期間があるとしても、それは短いと私たちは予想している。経済的インセンティブを考えれば、人々は今後数年間で、インフラの制御をますますAI(およびAIにハッキングされうるシステム)に委ねていく可能性が高い。そして私たちは、ASIが人間を操作したり、人間に対価を払ったりして、独立した(そしてより高速に稼働する)インフラの開発を手伝わせることができると予想している。

このプロセスはきわめて速く進みうる。エンジニアリング、軍事行動、インフラ整備がどれだけ速く進みうるかという限界から、人間ははるかに遠いところにいるからである。

自然界の構造物が実証しているように、物理法則がどのような機械類を許容しているかを考えてみてほしい。藻類は、1日足らずで個体数を倍増できる、太陽光で駆動する自己複製工場としてモデル化できる。樹木は、かさのある建設資材の大部分を、文字通り空気中から(炭素回収によって)組み上げる。そして生物は、エネルギー効率や材料強度の理論的限界にはまったく届いていない。

ASIは、少なくとも、生物界にすでに存在するものに匹敵する科学・工学上の偉業を達成できるだろう。たとえばASIは、致死的な病原体をひそかに開発して地球全体に拡散させることや、人間の労働を代替する生物を設計することが、おそらく可能だろう。

自然界に見られる生物学的システムは、ASIシステムの能力の上限を定めるものではない。より可能性が高いのは、ASIが生物学的な作用体や材料に限定されるのではなく、(私たちがそうした機械を自ら手渡していない範囲において)目的達成のためのミクロおよびマクロの機械を新規に(de novo)構築できるようになることである。しかし、この控えめな能力水準ですら、ASIが人類を急速に排除するにはすでに十分なのである。