本日、2023年12月6日、米国上院の第8回超党派AIインサイト・フォーラムに参加しました。今回の主題は「リスク、アラインメント、破滅的なシナリオへの備え」でした。参加の機会をくださったシューマー院内総務と、ラウンズ、ハインリック、ヤング各上院議員に感謝します。
討議で私が強調した点の一つは、これから登場する汎用AIシステムは、これまでの技術とは違うということです。過去50年間と同じやり方を、そのまま使うわけにはいきません。
参加者は、事前に5ページ以内の意見書を提出するよう求められました。以下に掲載する私の意見書では、非常に高性能な汎用AIシステムに、未来の主導権を奪われると考える理由を中心に述べました。そのリスクを防ぐため最終的に何が必要になると思うかを大枠で示し、いずれリスクに対処できるようになるための重要な足がかりとなりうる、いくつかの政策を提案しています。1
（PDF版）
シューマー院内総務、ラウンズ議員、ハインリック議員、ヤング議員。一連のAIインサイト・フォーラムにお招きいただき、また、人間より賢い人工知能（AI）が存在する世界へ安全に移行するにあたって人類が直面する課題について、機械知能研究所（MIRI）の見方をお伝えする機会をいただき、ありがとうございます。
MIRIは2000年に設立された、カリフォルニア州バークレーを拠点とする非営利研究組織です。私たちは将来を見据え、人間より賢いAIシステムを安全にするための技術的課題を研究しています。
以下で述べる要点は、三つです。（1）開発者は近いうちに、大半の認知課題で人間の能力を上回るAIシステムを作れるようになる可能性が高い。（2）現在とさほど変わらない技術的理解のまま、人間より賢いAIを開発すれば、制御を失う事態になる。（3）米国には、これらのリスクを大幅に軽減するため、今日から取れる措置がある。
開発者は近いうちに、大半の認知課題で人間を上回るAIシステムを作れるようになる可能性が高い
AI分野が1956年に始まったときから、その目標は、人間の持つ推論能力や問題解決能力、すなわち「知能」を、機械で再現することでした。この研究を進める理由は明らかです。人間のような知能は、きわめて強力だからです。歴史上、人間の暮らしを最も大きく改善したものは、おおむね、人間が知能を使って新しい問題を解き、新技術を開発した結果でした。本当に知的な機械を作り、私たちの利益に沿うようにできれば、発見や技術開発の過程を実質的に自動化し、今とは桁違いに豊かな未来を作れるでしょう。
つい最近まで、AIシステムは非常に特化したものでした。個々のシステムができるのは、チェスなど、特定の課題や種類の知的作業だけだったのです。しかし、ここ数年のソフトウェアとハードウェア両方の進歩によって、大規模言語モデル（LLM）を含む生成AIシステムは、知能の汎用性を大幅に高めました。ChatGPTのような最先端のLLMは、会話をし、詩を書き、多くの標準試験で高得点を取り、言語間で翻訳し、コンピュータープログラムを書くなど、さまざまなことができます。完璧にはほど遠く、ばかげた間違いもしばしばしますが、1〜2年前の最高のAIシステムと比べると、能力ははるかに高く、今も急速に向上し続けています。
現在のAIシステムのよい影響も悪い影響も、私を含む多くのアメリカ人の日常に、すでに現れています。妻はデジタルのグラフィックデザイン素材を販売する事業を営んでいますが、画像生成AIの登場と急速な改良によって、その事業が近いうちに立ち行かなくなる可能性が、ますます高まっているように見えます。同じような話は、皆さんも他の多くの人から聞いていることでしょう。AIシステムの能力が高まるにつれ、社会を揺さぶる影響は、さらに大きくなる一方です。
技術の進歩を予測するのが難しいことは、よく知られています。大半の認知課題で人間に匹敵するAIシステムまで、あと何年かを予測するのも困難です。大学や主要なAI研究機関では、人間レベルの汎用AIシステムが今後10年以内、場合によっては数年以内に作られる可能性が高まっていると考える研究者が、増えています。
大切なのは、AIの進歩が人間並みの能力で止まると考えるべきではない、ということです。汎用人工知能をそもそも作ることに成功すれば、そのAIシステムは、人間の水準をはるかに超えて進むと予想すべきです。
科学者が、チェスなどの認知課題を自動化すると、たいていAIは、その課題で人間の能力をすぐに超え、その後は追い抜かれなくなります。人間の認知能力は上限にはほど遠く、他の種に比べれば「賢い」ものの、課題をどう自動化するかがわかると、その課題ではAIに圧倒され続けています。先を考えるなら、「科学の分野を進歩させる」「新しい技術を作り上げる」「他者を説得し、操る」「現実世界で力を得る戦略を立てる」といった、決定的に重要な課題を自動化したときにも、同じことが起きると予想すべきです。
技術がその段階に達すれば、これらも自動化できる課題の一つにすぎません。しかし、その影響は途方もなく大きいのです。
現在とさほど変わらない技術的理解のまま、人間より賢いAIを開発すれば、制御を失う事態になる
現在のAIの基盤である深層学習の「3人の父」の一人、ジェフリー・ヒントンは以前、「知能の低いものが、より知能の高いものを制御してきた実績は、芳しくない」と述べています。これは、私たちが近いうちに直面しうるリスクの根源を、簡潔に言い表しています。実際、他の種より比較的高い知能によって、人間は種として優位に立ち、この1万年で、他の種の大量絶滅を引き起こしてきました。敵意があるからではなく、私たちがさまざまな目標を持ち、その目標が、たまたま他の種の利益と衝突するからです。
人間より賢いAIが存在する世界へうまく移行するには、よい未来を支えられるよう、私たちの望むものをAIシステムも望むように方向づける、すなわちアラインメントする能力が必要です。少なくとも、その仕組みを深く理解しなければなりません。
残念ながら、現在の私たちは、AIがどう動くのか、なぜそのように振る舞うのかを、本当には理解していません。現在の機械学習が、AIを組み立てるというより、「育てる」ものだからです。『60 Minutes』のインタビューから、ヒントンの言葉をもう一度引用します。
聞き手：「［AIの］正確な仕組みがわからない」とはどういうことですか。人間が設計したのでしょう。
ヒントン：いいえ、そうではありません。私たちが設計したのは、学習アルゴリズムです。いわば進化の原理を設計するようなものです。その学習アルゴリズムがデータと相互作用すると、さまざまなことをうまくこなす複雑なニューラルネットワークが生まれます。しかし、それを正確にどうやってこなしているのかは、本当にはよくわかっていないのです。
高度な深層学習ベースのAIシステムは、ブラックボックスのようなものです。何を入れ、何が出てくるかは見えますが、箱の中を見ると、そこにあるのは何兆個もの小数だけです。それらが何らかの形で、私たちの観察する出力を生み出しています。
AIの研究と社会への導入は目のくらむような速さで進んでいます。しかし、そのようなシステムのアラインメント方法を10年以上研究してきたMIRIの評価では、アラインメントは驚くほど難しい技術的問題で、人類は解決にはまったく近づいていません。原理的には解決可能で、大規模な、もしかすると何世代にもわたる研究によって、いずれ解決されるという希望は持っています。しかし、時間は残り少ないように見えます。アラインメントを解く前に人間より賢いAIを開発した場合、最も起こりやすい結末は、人類の絶滅です。
現在のAIシステムは存亡の脅威ではありません。しかし、近い将来のシステムがそうなる確率は、無視できません。人間の介在なしに、ますます複雑な、複数の段階からなる課題を遂行できるようになるからです。
米国には、これらのリスクを大幅に軽減するため、今日から取れる措置がある
AI開発者が人間より賢いAIを作れるようになれば、AI開発に対する強固な世界的な歯止めがないかぎり、ほどなく制御を失う可能性が高いでしょう。この歯止めは、関連する現象を十分に理解し、先へ進んでも安全だという幅広い科学的合意が得られるまで、また、悪意ある者や不注意な者の手に渡らないようシステムを保護できるようになるまで、人間より賢いAIが開発されないことを保証するものでなければなりません。
これは大きな要求であり、おそらく前例のない世界的な協調を必要とし、難しいトレードオフの数々に向き合い、折り合いをつけることになります。AIで世界を率いる米国には、自ら手本を示して国内のAI規制を整え、各国政府と協力して世界的なAI連合を作る、特別な能力と責任があります。こうした政策は、計算用ハードウェアの管理によって実効性を持たせられます。
国内のAI規制： 米国政府は、AIの脅威を速やかに見つけ、対処する能力を持つ必要があります。理想的には、AIリスクの監視と対応を目的とする新たな機関を設けるべきです。技術の発展に伴うリスクに見合った形で、最先端、すなわちフロンティアAIの開発を許可制にする権限を持たせます。そのためには、政府内のAIリスク分析の技術的専門性を大幅に高め、省庁間で協力する必要があります。
それまでの間も、企業に危険な能力の十分な評価を義務づけ、その結果を、商務省内に設置が先日発表されたAI安全性研究所（AISI）へ報告させることができます。報告された能力を受けてAISIが国家安全保障上の緊急事態を認めた場合、国家安全保障や国際社会に、許容できないほど高いリスクをもたらすAIシステムの開発を停止する権限を与えることが考えられます。議会は、AIの開発・利用の各段階にある企業が、システムによる損害について、どのような場合に責任を負うかを明確にすることもできます。また、AI開発者の注意義務には、厳密で正確な評価が含まれると定めることもできます。
別の措置として、政府内にAIの専門性を蓄え、AIシステムのリスク分析を試す場を用意するため、危険な能力を評価するモデル評価研究に、追加の資金を出すこともできます。NISTへの資金を増やす、NAIRRの一部を特にこの目的に割り当てる、官民共同の第三者監査制度を作る、といった方法です。この研究は、将来の脅威を発見し、規制するための土台になるでしょう。
AI企業のなかには、責任あるスケーリング方針を採用したAnthropicのように、自主的にリスク軽減方針を設けた企業もあります。しかし残念ながら、「AI企業」の評価額の急騰は、AIシステムが深刻なリスクをもたらしても、より高性能なモデルを開発し続けようとする、ほとんど抗しがたい金銭的な誘因の存在を示しています。そのような巨大な誘因がなくても、現在の自主的な約束の仕組みはまだ始まったばかりで、短期間のうちに壊滅的リスクや制御喪失を防ぐには未熟すぎます。したがって政府が介入し、十分な安全措置を義務づけるべきです。
世界的なAI連合： 十分な安全技術が開発されるまで、人間より賢いAIシステムの開発を防ぐには、おそらく米国が、AI用の計算ハードウェアとフロンティアAIの開発活動を安全に管理する国際的な取り組みを、先導する必要があります。同盟国がAIを規制・停止しても、単に開発を外国の競争相手へ追いやるだけにならないよう、国際協調が欠かせません。
米国はAIの能力開発で明確な主導的地位にあり、安全なAIのための国際連合へ向けて世界を導くことができ、そうすべきです。加盟国は、安全だという科学的合意ができるまで、人間より賢いAIを作らず、他者にも作らせないことに合意します。米国と同盟国はハードウェアの輸出管理を拡大し、連合の外の国が先端半導体を輸入したり、その生産能力を構築したりすることを防ぐべきです。それによって、この種のシステムの学習を実質的に不可能にします。
議会は今、次の措置によって、フロンティアAI開発を十分に国際監督するための土台を築けます。
- 利用規則を執行できる場所にある大規模クラウドデータセンターに、高性能な機械学習用半導体を置くよう、義務づけたり奨励したりすることの影響と有効性を調べる。
- 特定の計算機群がAI開発に使われているかどうかを検証できる、遵守確認技術の研究に資金を出す。
計算用ハードウェアの管理： 計算資源は、規制を実施するための重要な手段です。汎用AIの能力開発の爆発的な成長を支えてきた主要な要素のうち、入手が難しいものが計算能力だからです。現在、高価なハードウェアなしに最先端のAIシステムを作るのは非常に困難です。一方で、そのハードウェアを十分に利用できる主体が、強力なAIシステムを開発するのを防ぐのも、非常に困難です。
議会は、AIシステムの学習に使われる計算用ハードウェアの安全な管理を、次の方法で促進できます。
- 所在地、所有者、用途、計算機群の規模などの基本情報を追跡する、先端AI半導体の登録制度を設ける。
- 商務省の予算を増やし、既存のハードウェア輸出管理をより確実に執行することで、半導体の密輸やその他の抜け穴を減らす。
- すべてのフロンティアAI用ハードウェアを、限られた数の大規模な計算機群に集約し、人類を危険にさらす利用を禁じる統一的な監視体制の下に置く、国際的な同盟の検討を、行政府に指示し、支援する。署名国には対等な扱いを保証し、どの国の政府や軍にも例外を認めない。これは、人類が団結して危険なAI開発の道を拒むという選択肢を、残しておくためである。
- この意見書の起草に協力し、貴重な意見を寄せてくれた、ロブ・ベンシンガー、アレックス・ヴァーミア、グレッタ・ドゥレバ、マット・フォールショー、ブレイク・ボージェソンをはじめとする多くのMIRIスタッフ、そして外部アドバイザーの皆さんに、心から感謝します。↩