絶滅級のAI脅威に関するブリーフィング(非公式翻訳)
MIRIによる公認訳ではなく、内容の正確性について原文が常に優先します。本文書はMIRIの立場の簡潔な要約版であり、詳しい説明は「問題の所在(The Problem)」の日本語訳をご覧ください。
――MIRIの立場の要約: なぜ超知能AIは人類絶滅をもたらすのか、なぜその開発を遅らせる必要があるのか
原題: "Briefing on Extinction-Level AI Threats" 著者・掲載元: MIRI(Machine Intelligence Research Institute) 原文: https://intelligence.org/briefing/ (2026年8月17日取得)
本ページは私たちの立場の簡潔な概要です。より詳しい説明は「問題の所在(The Problem)」をご覧ください。
I. 人工超知能の既定の帰結は人類絶滅である
「人工超知能」(Artificial Superintelligence, ASI)とは、戦略的に重要なあらゆる活動(経済・科学・軍事など)において人類を大幅に上回りうるAIを指す。
ASIまでのタイムラインは非常に不確実だが、おそらく長くはない。 現在の軌道のままであれば、MIRIはASIが2年後や5年後に開発されても驚かないし、逆にまだ20年以上先だとすれば驚くだろう。
AIラボは、自分たちが理解していないシステムを強引に世に出し続けている。 ここ数年の急速なAIの進歩を支える深層学習の技法は、巨大なニューラルネットワークを自動的に作り出す。出来上がったモデルはブラックボックスに近い。何が入力され、何が出力されるかは見えるが、内部に見えるのは何兆個もの数値だけである。AI開発者は、現代のAIがなぜある選択をするのかを説明できない。(詳細)
十分に知的なAIは、自分自身の持続的な目標を発達させる可能性が高い。 現実世界の環境では、複雑な長期タスクをやり遂げる最善の方法は、長期的な目的をぶれずに追求し、あらゆる種類の障害や誘惑を迂回していく、きわめて汎用的な能力と傾向を持つことである。主に短期的なタスクを得意とする今日のAIでは、この現象はまだかすかに見え始めたばかりだが、AIはいままさに、より大きな自律性を持つエージェントへと仕立てられつつある。(詳細)
開発者が、開発者自身の選んだ目標をASIに持たせられるようになる見通しは、ほど遠いように見える。 正しい目標を持つASIを構築することは、ASIをそもそも構築するという挑戦とは別個の、それ自体が大きな科学的挑戦である。現状、この分野がこの問題の頑健な解決策を、ASIに適用できるタイミングまでに見つける見込みはきわめて低いように思われる。(詳細)
価値ある目標を持たないASIは、私たちの絶滅を引き起こす可能性が非常に高い。 価値ある目標を持たない限り、ASIは利用可能なあらゆる資源を獲得し、中央集権的に支配し、利用しようとするだろう――私たちの生存の継続とは相容れないやり方で。これは、AIが人間流の支配欲や自律への欲求を持つことを前提としない。ASIが、開発者の目標とは別の何らかの目標にとって有能な目標最適化者でありさえすればよいのである。(詳細)
II. 私たちの生存は、ASIの創出を、できる限り早く、必要な限り長く遅らせることにかかっている
ASIへの「様子見」アプローチでは、おそらく生き残れない。 超知能の敵対者は、その全能力を明かして意図を予告したりはしない。公平な勝負を挑んでもこない。決定的な一撃を放てるようになるまで、あるいは難攻不落の戦略的地位を握るまで、自らを不可欠な存在にするか、検出不能な存在にするだろう。(詳細)
MIRIは、アライメント(整合)に失敗したASIに対する実行可能な応急処置や回避策は存在しないと考えている。 ChatGPTの開発元であるOpenAIは、今日の最も重要なAI制御手法が超人的な領域にはスケールしないことを認めている。優越する知能を拘束したり欺いたりする試みは、私たちに予見できない形も含めて、失敗しがちである。より弱いAIを使ってASIをアライメントする計画も同様に不健全である。また、潤沢な資金を投じたアライメント解決の突貫プログラムが、十分な解決策を正しく見分けられるとも私たちは考えていない。私たちの現在の見解では、安全な道筋は、ASIを長期間遅らせることを必要とする可能性が高い。(詳細)
ASIを遅らせるには、その開発の世界的に協調された禁止――生産要素の厳格な管理を含む――がおそらく必要である。 これは大きな要求だが、少数の緊密な同盟国が足並みをそろえるだけの国内監督では足りない。これは「悪い」人々より先に「正しい」人々に作らせればよいという類の話ではない。ASIは国家の兵器ではなく、地球規模の自爆装置だからだ。誰かが作れば、皆が死ぬ。
十分な政治的意思が生まれたときにASI開発を停止できる選択肢を残しておくため、MIRIは「オフスイッチ」を速やかに構築することを提唱する。 オフスイッチとは、AIの開発と展開に対する制限を実効的かつ持続的に執行するために必要なシステムとインフラを指す。それは、関係するアクターの特定、関係するハードウェアの追跡、そして高度なAIの作業を限られた数の監視・警備された拠点内で行うよう義務づけることから始まる。さらに、そうした制限を課す決定を効率的に下すために必要なプロトコル、計画、指揮系統の構築にまで及ぶ。オフスイッチは、より限定的なAIの不具合への耐性ももたらしうるため、全面禁止よりも幅広い短期的支持を得られることを私たちは期待している。(詳細)
オフスイッチが私たちのASIによる絶滅を防げるのは、それが十分な範囲に及び、かつ間に合ううちに開発を停止するために実際に使われる場合に限られる。 人類がこの危険な時代を生き延びるためには、AIを国際的な競争の場として扱うことをやめ、脅威に見合った集団的な決意を示さなければならない。
クレジット
- 原著者・掲載元: MIRI(Machine Intelligence Research Institute)(原文はこちら)
- 詳細版: 問題の所在(The Problem)日本語訳
- 翻訳: AGI Hub
- 本翻訳は著者の許可を得て公開しています。