PauseAIの提案
安全に構築し、民主的な統制のもとに置く方法が分かるまで、最も強力な汎用AIシステムの訓練を一時停止することを提案します。多くの科学者や業界のリーダーが一時停止は必要だと認めており、米国の世論も一時停止を強く支持しています（64%〜69%）。
2026年4月5日版
ほかの国や企業が同じことをしない状況で、ある国や企業だけが競争上の優位性を危険にさらしてAIの訓練を長期間停止するとは、私たちも考えていません。だからこそ、世界全体での一時停止が必要なのです。
一時停止の実施は、方法を誤れば逆効果になり得ます。しかし、私たちの提案なら最も深刻な弊害を軽減できると考えています。実現に何が必要か、詳しく見ていきましょう。
条約の締結に向けて
国際的な合意は通常、各国の首脳が集まり、問題を議論して決定を下す首脳会議を通じて成立します。これまでにすでに4回のAIサミットが開かれています。
こうしたサミットが最終的に目指すべき中心的な成果は、条約です。これまでのサミットは、法的拘束力のある成果を生み出すうえで有効に機能していません。条約づくりは時間がかかり、拒否権によって頓挫しがちですが、長引く条約交渉を待つ時間はないかもしれません。
一時停止条約の交渉を成功させるために不可欠なのは、次の点です。
- 米国と中国の両国が参加すること。
- 迅速さ。通常の条約交渉には何年もかかりますが、私たちはごく近いうちに人間を超えるAIをつくってしまうかもしれません。
- 主要な当事国、とりわけ米国と中国が、リスクの深刻さを理解すること。
条約そのものには、以下の措置を盛り込むべきです。
条約に盛り込む措置
国際AI安全機関（AISA）を設立する
国際原子力機関（IAEA）を参考に設立するこの機関は、次の役割を担います。
- 人類への脅威にはならないと判断されたAIについて、大規模な導入と訓練を承認すること。この過程には、レッドチーミングとモデル評価を含めます。
- AIの安全性と制御に関する技術的課題について十分な進展が得られた段階で、より強力なAIの開発を承認すること。
- **AIの訓練を監督するための要件**を定めること。
- 機関の決定が守られていることを検証すること。これにはさまざまな方法があります。GPUの追跡、内部告発の奨励、エネルギー使用量の監視、データセンターの査察、金融情報の分析、半導体製造施設の査察、AI開発企業の査察、チップの所在地の追跡、チップを利用した報告などです。高度に集中しているAIチップのサプライチェーンを、AI開発の世界的な監督にどう活用できるかは、一時停止ボタンをつくるをご覧ください。オランダがASMLを通じてこれをどう執行できるかについては、オランダの一時停止ボタンをご覧ください。
こうした機関が、十分な知識に基づく慎重な判断を下すには、専門家を集める必要があります。専門家の間にも大きな意見の隔たりがあるかもしれません。機関は多様な見解を総合し、どの程度の慎重さが適切かを決める必要があります。
安全な超人的AIの導入について、署名国に追加の拒否権を与える
- 反対する国々が十分な規模の連合を形成すれば、安全な超人的AIシステムの導入に拒否権を行使できます。システムに与える指示や組み込む価値観など、導入の細部への反対も含まれます。
- 導入について合意が成立するまで、AIの重みとアクセス権は、厳格にAISAの管理下に置かなければなりません。機関は、好戦的な国に対して条約を執行するためにそのAIを使うことができますが、それ以外の目的では使用できません。
制御可能で安全なAIを構築できるのであれば、その利益が人類全体にもたらされるようにしなければなりません。AIが生み出す余剰を、単一の企業や国がすべて独占することは認められるべきではありません。 AIがかつてない豊かさを生み出すなら、誰一人として貧困のなかに取り残されるべきではありません。
ある国々が、自分たちはAIの恩恵から締め出されると感じているなら、公正な取り分を要求できる強い交渉上の立場を与えるべきです。同様に、民主主義国の一群が、権威主義国は自国民を抑圧するためにAIを導入すると考えるなら、あらゆる国のすべての市民に力を与える形での導入を求められるべきです。
条約の効果
最も危険なモデルは、言語を理解し、さまざまな領域にまたがる幅広い課題をこなせる、汎用AIモデルになるでしょう。現在存在する最も汎用性の高いモデルには、ChatGPTのような大規模言語モデルと、それらを基盤にしたClaude Codeのようなエージェント型システムがあります。一方、この条約は通常、がんの診断に使う画像認識システムのような特化型AIシステムには影響しません。
AIアラインメントの問題は非常に難しく、長い間解決できない可能性もあります。その場合、条約は超人的AIの開発を長期間防ぐことになります。それが、人類の安全を確保する唯一の方法です。
条約を執行するには、米国と中国が経済力と軍事力をもって支える必要があります。 両政府の現在の立場と、合意を可能にする条件については、米中の一時停止ボタンをご覧ください。両国の指導者がAIのリスクの深刻さを理解すれば、条約の成功が自国の利益にもなると分かるはずです。安全な超人的AIがつくられた場合は、AISAがそのAI自体を条約の執行に使います。
AIの進歩を効果的に遅らせるその他の措置
- 著作権で保護された素材を使ったAIシステムの訓練を禁止する。 これは著作権問題への対処に役立ち、格差の拡大を遅らせ、超人的AIに向かう進歩も遅らせます。
- AIシステムを使って行われた犯罪行為について、AIモデルの開発者に法的責任を負わせる。 これにより、開発者がモデルの安全性を確保しようとする動機が強まります。
長期的な政策
執筆時点で、GPT-5級のモデルの訓練には何百万ドルもの費用がかかります。そのため、こうしたモデルの訓練は非常に難しく、GPUの追跡による訓練の規制は執行しやすくなっています。しかし、ハードウェアの改良と新しい訓練アルゴリズムにより、モデルの訓練費用は指数関数的に下がっています。
いずれ、人間を超える可能性のあるAIモデルを数千ドル以下で、場合によっては消費者向けのハードウェアでも訓練できるようになるかもしれません。 私たちはそれに備え、次のような追加の安全措置を検討すべきです。
- 訓練アルゴリズムや実行時の改良の公開を制限する。 訓練を大幅に効率化する新しいアルゴリズムが公開されることがあります。たとえばTransformerアーキテクチャは、近年のAIの進歩のほぼすべてを可能にしました。この種の能力の飛躍はいつでも起こり得ます。突然の能力向上のリスクを最小限に抑えるため、こうしたアルゴリズムの公開制限を検討すべきです。分散型の訓練を可能にする技術革新もあります。同様に、実行時の技術革新によって、既存モデルにできることが劇的に変わるかもしれません。危険な研究の公開制限は、病原体の能力を高める手法を厳しく管理しているバイオセキュリティなど、ほかの分野ではかなり有効に行われています。
- 計算資源の性能向上を制限する。 ハードウェアの性能向上を制限することも検討すべきです。たとえば、リソグラフィ、チップ設計、光チップや量子コンピューティングのような新しい計算方式を制限する方法が考えられます。