本ページは、MIRI Technical Governance Team が公表した条約案 "The Agreement" の非公式日本語訳です(翻訳: AGI Hub)。原文を読む ↗

人工超知能の時期尚早な創出を防ぐ国際合意――条約案(非公式翻訳)

著者およびMIRI(Machine Intelligence Research Institute)による公認訳ではなく、内容の正確性について原文が常に優先します。条約案の本文に加え、原文レポートで各条文に付されている著者らによる解説(Notes)と先例の検討(Precedent)も訳出しています。レポート全文(リスク分析・戦略的状況・付録B〜D等)は原文レポート(arXiv:2511.10783)を参照してください。

――MIRI技術ガバナンスチームによる合意条文案(前文+第1条〜第15条)

原題: "The Agreement"(レポート An International Agreement to Prevent the Premature Creation of Artificial Superintelligence 付録A) 著者: Aaron Scher、David Abecassis、Peter Barnett、Brian Abeyta(MIRI Technical Governance Team) 初出: MIRI Technical Governance Team、2025年11月18日 原文ライセンス: CC BY 4.0


以下に、世界の主要国政府が人工超知能(ASI)の危険性を認識し、誰にもASIを作らせないことを目指す場合に実施しうる合意について、注釈付きの条文案を示します。これは、検討に値する有益な条項の例です。目の前の状況に合わせ、歴史的な先例に根ざした仕組みを用いています。

この案には、AI開発者が人類を深刻な危険にさらすのを防ぐために必要だと私たちが考える、さまざまな仕組みを盛り込んでいます。実際には、異なる事項を別々の合意で扱うことになる可能性が高いと考えています。1 また、言うまでもなく、実際の合意は、関係する当事者が交渉し、関連分野の専門家による検討を受けながら起草すべきものです。

各条には、主要な判断の理由を説明する解説と、関連する先例を検討する節を付しました。先例に価値があるのは、その計画を実施できると示すからであって、有効に機能すると示すからではない点に注意が必要です。過去の合意が存在することは、同種の仕組みが政治的・実務的に実現可能であることを示しますが、この分野で意図した結果をもたらす保証にはなりません。これに対して、この合意が有効に機能すると私たちが考える理由は、解説をはじめ各所で論じており、その多くはAI特有の事情に基づきます。

実際の合意には、多くの細部が伴います。本案もある程度まで詳細を定めていますが、多くの細部は、後で確定すべき「附属書」に委ねています。本案で用いる数量や数値上の閾値の多くは、現時点での私たちなりの最善の見積もりですが、それでも推測にすぎないものとして扱うべきです。多くの数値は、確定する前に、さらに調査し、見直す必要があります。このような細部は、合意そのものには記載されないかもしれません。核兵器不拡散条約(NPT)では、査察やいわゆる「保障措置」プログラムの具体的な内容は条約自体に盛り込まれず、各国と国際原子力機関(IAEA)の間で決められました。それと同様です。ただし本案では、内容を明確にし、具体的に理解しやすくするため、現時点での最善の見積もりを条文中に直接記載しています。

前文

この合意を締結する国(以下「締約国」という。)は、

人工超知能の開発によって、すべての人が死に至り、人間のあらゆる営みが終わりを迎えるおそれに危機感を抱き、

現在の状況の下で人工超知能の創出及び配備を防止するため、緊急かつ協調的で持続的な国際的行動が必要であることを確認し、

人工知能の能力の向上を防止する措置が、人類絶滅の可能性を低減すると確信し、

この合意の安定性は、すべての締約国による遵守を検証できることに依存すると認識し、

地球規模の安全保障上の脅威に対処してきた軍備管理及び不拡散に関する過去の合意を想起し、

人工超知能に近づかない十分な余裕を保って行われる人工知能の活動について、世界全体でその検証を円滑にするために協力することを約束し、危険を回避しながらも人工知能システムの便益を利用できる状態を維持することを目指し、

次のとおり合意した。

前文の先例

この合意の前文は、核兵器不拡散条約(NPT)の前文を手本にしています。同条約は、次のように始まります。

核戦争が全人類にもたらす惨害を考慮し、したがって、そのような戦争の危険を回避するためにあらゆる努力を払い、諸国民の安全を守る措置をとる必要があることを考慮し……

続いて、次のように述べています。

核兵器国が核爆発装置の開発から得る技術上の副産物を含む、原子力技術の平和利用による便益は、核兵器国か非核兵器国かを問わず、すべての締約国が平和的目的のために利用できるようにすべきであるという原則を確認し……

こうして前文は、強力な技術がもたらす破滅的な脅威から人類を守る責任ある国々の取り組みに加わり、安全に認められる便益を分かち合うよう、世界に呼びかけています。私たちの前文も、この例にならおうとするものです。

NPTは1970年に発効し、1995年に無期限延長されました。ほぼすべての国が参加していることで知られ(締約国は191か国)、その前文は、兵器拡散の地球規模の危険を強調すると同時に、原子力の平和利用による便益をすべての締約国が利用できるようにすべきだと確認しています。

第I条――主要な目的

各締約国は、いかなる手段によっても、人工超知能(以下「ASI」という。)を開発し、若しくは配備し、又はその開発若しくは配備を企図しない。各締約国は、その国境内及び管轄下で行われるこのような開発をすべて禁止し、防止する。また、さらなる進歩がどの時点でASIを生み出すかは不確かであるため、この合意に定めるとおり、ASIに向けて実質的に前進させる活動に従事せず、そのような活動を許可しない。各締約国は、非締約国及び非締約の管轄地域により、又はその域内で行われるこのような開発を思いとどまらせ、防止するために、他の締約国がとる合理的な措置を支援し、又は妨げない。各締約国は、この合意に定めるその他すべての義務、措置及び検証のための取決めを実施し、履行する。

ASIから十分に距離を置く、一定の種類のAI基盤及び能力について、国際的な監督の下にあることを条件としてのみ許容できると判断される場合、このような活動を行うことができるのは締約国に限られる。また、監督がなければASIの開発につながりうるAIチップ及び製造能力を所有し、又は運用できるのも締約国に限られる。締約国及び地球上のすべての生命の安全のため、非締約国にはこのような利用を認めない(第V条、第VI条、第VII条)。

締約国は、不要な防護措置(第XII条)を最小限に抑えるため、紛争解決の手続(第XI条)に従うことを約束する。

第I条の先例

多くの条約と同様、NPTの第I条は、締約国が引き受ける大枠の約束を定めています。この場合は、自国の核兵器を他者に渡さず、他者の核兵器取得を援助しないという約束です。

各核兵器締約国は、核兵器その他の核爆発装置又はそれらの兵器若しくは爆発装置の管理を、直接又は間接に、いかなる受領者にも移譲しないこと、並びに非核兵器国が核兵器その他の核爆発装置を製造し若しくはその他の方法によって取得すること、又はそれらの兵器若しくは爆発装置の管理を取得することを、いかなる形でも援助し、奨励し、又は勧誘しないことを約束する。

私たちの合意案の第I条にまとめた約束は、これよりも強いものです。誰であれ、どこであれ、ASIの開発規制を突破する事態は、ただの一度も許してはならないからです。2 他者による開発を「援助し、奨励し、又は勧誘」しないだけでは足りません。そのため、どこで行われる開発であっても、それを思いとどまらせ、防止するために締約国がとる「合理的な措置を支援し、又は妨げない」という約束を盛り込みました。

NPTが既存の脅威である核兵器を封じ込めようとする一方で、私たちの合意案は、ASIという脅威がそもそも生まれないようにするものです。危険な新技術の開発を防ぐ先例は、特定通常兵器使用禁止制限条約の一部をなす「失明をもたらすレーザー兵器に関する議定書」に見いだせます。3 その第I条は、次のように定めています。

唯一の戦闘機能又は戦闘機能の一つとして、補助のない視力、すなわち裸眼又は視力矯正器具を用いた眼に恒久的な失明をもたらすよう特に設計されたレーザー兵器を使用することを禁止する。締約国は、このような兵器をいかなる国家又は非国家主体にも移譲してはならない。

しかし、この条文は、誰かがどこかでそのようなシステムを実験したり、偶然作ってしまったりすることまで防ごうとはしていません。私たちの合意は、偶然ASIが作られてしまうことも防げるほど、強力でなければなりません。引き返せなくなる地点がどこなのかは明らかではないため、第I条には「ASIに向けて実質的に前進させる活動に従事せず、そのような活動を許可しない」という約束を盛り込んでいます。

第II条――定義

この合意の適用上、

  1. 人工知能(AI)とは、認知、計画、学習、又は物理的、社会的若しくはサイバー上の領域における行動を必要とする課題を実行する計算システムをいう。これには、変化する予測不能な条件の下で課題を実行するシステム、又は経験から学習して性能を向上させることのできるシステムを含む。

  2. 人工超知能(ASI)とは、人類の滅亡を計画し、成功裏に実行できるほど、人間を十分に上回る認知性能を備えたAIと操作的に定義する。

    • (a) この合意の適用上、連合技術機関(第III条)による明示的な承認を受けておらず、かつ、第IV条に定める制限に違反するAI開発は、人工超知能の創出を目的とするものと推定する。
  3. 危険なAI活動とは、人工超知能が作られる危険性を大幅に高める活動をいう。ASI開発の最終段階に限らず、この合意に定める先行段階も含む。危険なAI活動の全範囲は第IV条から第IX条までに具体的に定め、この合意の運用及び連合技術機関の活動を通じて、詳細化し、修正することができる。

  4. 浮動小数点演算回数(FLOP)とは、実行される数学的演算の回数に基づき、学習及び事後学習の規模を定量化するために用いる計算量の尺度をいう。FLOPは、半精度浮動小数点形式(FP16)に換算した演算回数と、使用する形式での総演算回数のうち、いずれか大きい方で数える。

  5. 学習実行とは、勾配に基づく手法又はその他の探索・学習手法を用いて、AIのパラメータ(重みやバイアスなど、ニューラルネットワークを通じた情報の伝播を規定するもの)を最適化する計算過程をいう。これには、事前学習、ファインチューニング、強化学習、パラメータを更新する大規模なハイパーパラメータ探索、並びに反復的な自己対戦又はカリキュラム学習を含む。

  6. 事前学習とは、課題又は領域に固有の適応を行う前に、汎化可能なパターン又は表現を学習するため、大規模なデータセットを用いてAIのパラメータを最初に最適化する学習実行をいう。そのような適応の前に行われる、教師あり、教師なし、自己教師あり及び強化学習に基づく最適化を含む。

  7. 事後学習とは、モデルの事前学習の後に行われる学習実行をいう。加えて、この合意の発効前に作られたAIに対して行われる学習は、すべて事後学習とみなす。

  8. 禁止閾値(Strict Threshold)とは、それを超える学習実行が禁止される、学習の計算量(FLOPで測定)をいう。10^24 FLOPに設定する。

  9. 事後学習禁止閾値(Strict Post-training Threshold)とは、それを超える事後学習の実行(例えば、この合意以前に学習されたモデルに対するもの)が禁止される、学習の計算量(FLOPで測定)をいう。10^23 FLOPに設定する。

  10. 監視閾値とは、それを超える学習実行が国際機関による監視の対象となる、学習の計算量(FLOPで測定)をいう。10^22 FLOPに設定する。

  11. 先端コンピューターチップとは、28ナノメートル・プロセスノードと同等以上に先進的なプロセスで製造される集積回路をいう。

  12. AIチップとは、主としてAIの計算のために設計された専用の集積回路をいい、機械学習モデルの学習及び推論の演算に用いるものを含むが、これらに限らない[附属書で、より厳密な定義を定める必要がある]。GPU、TPU、NPU及びその他のAIアクセラレーターを含む。当初はAI用途向けに設計されていなくても、その用途に効果的に転用できるハードウェアを含めることもある。AIチップは、先端コンピューターチップの一部である。

  13. AIハードウェアとは、AIの学習及び実行に用いるすべてのコンピューターハードウェアをいう。AIチップのほか、ネットワーク機器、電源及び冷却機器を含む。

  14. AIチップ製造装置とは、AIチップの製造、検査、組立又はパッケージングに用いる装置をいう。露光、成膜、エッチング、計測、検査及び先端パッケージングのための装置を含むが、これらに限らない[附属書で、より網羅的な一覧を定める必要がある]。

  15. H100換算とは、NVIDIA H100 SXMアクセラレーター1基に等しい計算能力(1秒あたりのFLOP)の単位をいう。FP16で989 TFLOP/s、又は総処理性能(TPP)で15,824 TFLOP-bit/sに相当する。TPPは、TPP = 2 × 非スパースMacTOPS ×(乗算入力のビット長)として計算する。

  16. 対象チップクラスター(CCC)とは、実効計算能力又はアクセラレーターメモリーの合計が16 H100換算を超える、AIチップの集合又はネットワーク接続されたクラスターをいう。ネットワーク接続されたクラスターとは、物理的に同じ場所にあるチップ、ノード間の合計帯域幅――異なるホスト又は筐体の間の帯域幅の合計として定義する――が25 Gbit/sを超えるチップ、又は共同でワークロードを処理するためにネットワーク接続されたチップをいう。H100チップ16基の実効計算能力の合計は15,824 TFLOP/s、又はTPPで253,184 TFLOP-bit/sであり、チップごとのTPPの合計に基づく。H100チップ16基のアクセラレーターメモリーの合計は1,280 GBである。CCCの例には、GB200 NVL72サーバー、同じ建物内にある8基搭載H100 HGXサーバー3台、CloudMatrix 384、TPUv6eチップ32基のポッド、及びすべてのスーパーコンピューターがある。

  17. 国家技術手段(NTM)には、締約国がこの合意に従う検証のために用いる、衛星、航空、サイバー、信号、画像(熱画像を含む。)及びその他の遠隔探査能力を含む。

  18. チップ使用検証とは、許容される活動と禁止される活動を区別するため、特定のコンピューターチップでどのような活動が実行されているかを把握する方法をいう。

  19. フロンティアモデルの作成に用いる手法とは、AI開発に用いる広範な手法をいう。AIアーキテクチャ、最適化器、トークナイザーの手法、データの選別・整備、データ生成、並列化戦略、学習アルゴリズム(例えば強化学習アルゴリズム)及びその他の学習手法を含むが、これらに限らない。事後学習は含むが、プロンプティングのように、学習済みモデルのパラメータを変更しない手法は含まない。将来、新しい手法が作られることもある。

  20. AI技法ホワイトリストとは、連合技術機関が管理する、承認されたAIの手法及び技法の一覧をいう。監視閾値を超える学習実行では、この一覧にある技法のみを使用できる。

第II条の解説

AIの定義について

ここで用いたAIの定義は、チャック・グラスリー上院議員のAI内部告発者保護法案をもとにしたものですが、広すぎるかもしれません。スペルチェックや画像認識システムなど、明らかに安全なコンピューターシステムには適用されないことを明確にするには、さらに定義を詰めるとよいでしょう。

最先端の大規模言語モデルの開発に高度に専用化されたハードウェアが必要で、ほかの活動との区別も容易であるという、現在のAI技術のあり方が変わらないのであれば、対象を絞った定義を作るのはもっと簡単でしょう。しかし、ASIへ至る技術は変わっていきます。用いるAIの定義は、LLM以外も含むものでなければなりません。機械学習だけを禁止する合意では、研究者が技術上は定義に当てはまらない新しいAIの方式を開発し、超知能に向かって先を争うことを促しかねません。新たな方式が登場した場合、特に、深層学習ほど大量のAIチップを必要としない方式であれば、合意を更新する必要が生じる可能性が高く、執行は大幅に難しくなるかもしれません。

計算能力の定義について

計算能力の主要な尺度には、H100換算を用います。第V条では、これによって監視なしで認められるチップクラスターの最大規模を定めています(16 H100換算)。第IV条はAIの学習に使う総演算回数で閾値を定めているため、監視なしで行える1秒あたりの演算回数を制限すれば、監視されないハードウェアで違法な規模の学習を行おうとしても、実用にならないほど長い時間がかかることになります。

H100換算を使うのは、さまざまなチップ設計を比べるうえで最も重要な尺度が演算の速さであり、H100が適切で、使用の先例もある物差しだからです。高帯域幅メモリーなど、AIの学習ではほかのチップの指標も重要ですが、全体としては、1秒あたりの演算回数ほど重要ではありません。

私たちが提案する対象チップクラスター(CCC)の定義は、いくつかの条件を同時に満たそうとするものです。基準値は、一般の人々が規則違反にならない程度には高くなければなりません(筐体間の25 Gbit/sという帯域幅はデータセンター以外のインターネット接続より速く、個人が16 H100換算を超える機器を所有することは非常にまれで、費用もかかります)。同時に、危険なAI活動を防ぎ、規制のすり抜けを難しくできるほど低く設定する必要もあります(つまり、CCCに満たない複数のチップ群に分散して学習することを難しくします)。このトレードオフについては、第V条の解説で詳しく論じます。CCCのアクセラレーターメモリーへの制約は、こちらの記事で論じているように、違法な分散学習を防ぐために設けています。

AIチップは先端コンピューターチップの一部ですが、AIチップとそれ以外を分ける明確な境界線はありません。ここではその区別を定義して頼るのではなく、H100換算で測ったクラスター全体の計算能力(1秒あたりの演算回数)を用います。AIの学習又は実行に使えるよう構成できるチップであり、定義した閾値を超える場合、この合意はその監視を要求します。

なお、一部の政府では、国家技術手段(NTM)を正式な用語として使わなくなっている可能性があります。本合意では、過去の軍備管理合意と比較しやすいよう、その用語法にならって用いています。

第III条――連合

  1. この合意の締約国は、連合を構成する。連合は、この合意及びその規定を実施する。これには、合意の遵守についての国際的な検証に関する規定を含む。連合は、締約国間の協議及び協力の場を提供する。

  2. 連合の機関は、執行理事会及び連合技術機関(CTB)とする。

  3. 執行理事会

    • (a) 執行理事会は、当初、アメリカ合衆国及び中華人民共和国で構成する。

    • (b) 執行理事会は、要請査察を承認し、事務局長を任命し、CTBを監督してその勧告に対する拒否権を行使し、全体的な方針を決定し、予算を採択する。

    • (c) 意思決定の手続は、次のとおりとする。

      • i. 執行理事会が自ら行うすべての決定には、理事国間の合意を必要とする。合意に達しない場合、提案された変更は採択しない。
      • ii. 各理事国は、CTBの決定に対する拒否権を有する。
      • iii. 執行理事会は、前記の拒否権に服することを条件として、特定の権限をCTBに委任することができる。
    • (d) 執行理事会は、その理事国ではない締約国から選んだ国を加え、審議の会合を開くことができる。これらの追加の締約国は、執行理事会が選定する。選定された締約国は、討議に参加し、そのために必要な関連の機微情報の提供を受けることができる。

  4. 連合技術機関(CTB)及び事務局長

    • (a) CTBの事務局長は、同機関の長であり、行政上の最高責任者とする。

    • (b) 事務局長は、執行理事会が4年の任期で任命し、1回に限り再任することができる。執行理事会は事務局長を解任することができる。

    • (c) CTBは、この合意で要求される締約国の活動を調整する。CTBは、チップ追跡及び製造保障措置、チップ使用検証保障措置、研究管理、情報集約、技術審査、総務及び財務、並びに法務及びコンプライアンスに関する技術部門を置く。事務局長は、技術部門を設置し、又は廃止することができる。

    • (d) CTBは、この合意の第IV条、第V条、第VI条、第VII条、第VIII条、第IX条及び第X条を実施するために必要に応じ、事務局長を通じて、技術上の定義及び保障措置の手順の変更を提案する。

      • i. FLOP閾値(第IV条)、対象計算クラスターの規模(第V条)及び制限対象となる研究の範囲(第VIII条)について、迅速な対応を要する変更は、措置をとらないことが安全保障上の危険をもたらす場合、事務局長が直ちに実施することができる。このような変更は30日間効力を有する。それを超えて効力を維持するには、各理事国の拒否権に服することを条件として、執行理事会の承認を必要とする。
  5. 連合の通常予算は、執行理事会の理事国の分担金によって賄う。その分担率は、執行理事会が決定する。

第III条の先例

中距離核戦力全廃条約(INF条約)及び戦略兵器削減条約(START I、START II、新START)では、実施及び検証の責任を各締約国に置いています。各締約国は、相手国が自国の遵守について合理的な確信を得られるようにする手続を約束しています。

第3項で設置する執行理事会は、NPTの理事会を手本にしています。

台湾は、その微妙な地政学上の立場に加え、世界のAIチップの大半を生産していることから、この合意の構想を複雑にしています。幸い、先例が手がかりになります。台湾はNPTの締約国ではありませんが、NPTの原則に拘束されると考えていることを、繰り返し表明しています。また、米国及びIAEAとの三者間の取決めを通じ、IAEAが台湾の原子力施設で査察を行い、保障措置を適用することを認めています。この合意についても、同様の取決めを設けることができるでしょう。

第3項(b)の「要請査察」は、化学兵器禁止条約(CWC)の第X部にある仕組みを手本としています。この先例については、第X条で詳しく説明します。

第III条の解説

この仕組みでは、AIの研究・開発・配備の制限を維持し、明確にするといった、集中させなければならない少数の機能だけを連合技術機関に集中させ、執行理事会には監督権限を与えます。この組織案の利点の一つは、技術機関が迅速に意思決定できることです。ただし、その決定は、どの理事国からも拒否されずに済むものでなければなりません。

この合意では、米国と中国、場合によってはその他の理事国も、それぞれ並行して遵守を検証し、執行します(第X条も参照)。これは、自律性を手放す度合いを最小限にとどめ、既存の情報収集活動をまったく妨げずに、各国が必要とする確信を得られるようにすることを目指したものです。

AI技術に関して、米国と中国が抜きんでた大国であることに注意が必要です。二国間の合意であれ、それ以外の形であれ、実現可能な合意には両国の参加が必要になります。現実には、現在のAI開発の状況からすると、規制、供給及び研究に関して、両国が非常に大きな発言力を持つことになるでしょう。それを踏まえ、国連安全保障理事会の常任理事国や、大きな経済力・軍事力を持つ国々などは、自国の安全保障上及び経済上の利益にかなう場合にしかこの合意に加わらない、という点も認める必要があります。私たちは、どの国が執行理事会に加わるかについて、先回りして立場を決めないようにこの合意を書いています。最終的には、合意に関心を持つ当事国が、協議に臨む際の相対的な交渉力や立場を踏まえ、理事国を交渉によって決めることになります。

TSMCが有数のAIチップメーカーである以上、AIに関するいかなる合意も、台湾をどう扱うかを考えなければなりません。先例の節で述べたとおり、台湾が署名せずともNPTを遵守しているのと同様に、私たちの合意にも従うことを推奨します。それは、正式な取決め、又は台湾がこの合意の原則に拘束されると考え、現地での通常査察若しくは要請査察、又はその両方を受け入れるとする宣言などによって実現できます。

第IV条――AIの学習

  1. 各締約国は、次の閾値を超えるAIの学習を禁止することに同意する。すなわち、禁止閾値を超えるすべての学習実行、又は事後学習禁止閾値を超えるすべての事後学習の実行である。各締約国は、これらの閾値を超える学習を自ら実行せず、その管轄下のいかなる主体にも実行を認めないことに同意する。

    • (a) 連合技術機関(CTB)は、第III条に定める手続に従い、これらの閾値を変更することができる。
  2. 各締約国は、監視閾値を超えるすべての学習実行について、開始前にCTBへ報告しなければならない。これは、締約国自身又はその管轄下のいずれかの主体が行う学習実行に適用される。

    • (a) この報告には、学習に用いるすべてのコード、すべての学習データ、及び使用する総FLOPの見積もりを含めなければならない。ただし、これらに限らない。締約国は、CTBの職員が監督下で全データにアクセスできるようにし、データの機微性に応じたアクセス記録を残し、複製及び無許可の開示を防止する措置を講じなければならない。データ及びコードの検討は、学習施設の現地で、又はCTBが承認した安全な仕組みを通じて行うことができる。CTBの職員にデータへの十分なアクセスを提供しないことは、CTBの裁量により、その学習実行を認めない理由となる。CTBは、学習実行に関係する追加の文書を要求することができる。また、CTBは、学習中に学習手順へ加えることができる小規模な変更を、あらかじめまとめて承認する。そのような変更を行った場合には、実施の都度CTBへ報告する。
    • (b) 監視閾値を超える学習実行には、学習施設に実際に立ち会う、米国及び中国を代表する査察官の明示的な承認を必要とする。学習を開始する前に、査察官は書面による承認を与えなければならない。いずれの側も、承認を留保し、又は変更を要求することができる。査察官は、学習コードが、CTBの管理するAI技法ホワイトリストで承認された技法だけを使用していることを検証する。
    • (c) 査察官は、電子記憶装置又はデータを学習施設から持ち出してはならない。
    • (d) CTBは、そのような学習実行を監視することができる。締約国は、要求に応じ、最終的な学習済みモデルを含む、モデルのチェックポイントをCTBに提供する[この監視の当初の詳細を附属書に定める必要がある]。
    • (e) 監視によって、懸念されるAIの能力又は行動が明らかになった場合、CTBは、学習の続行が安全だと判断するまで、特定の学習実行又は一定の類型に属する学習実行を一時停止するよう命じることができる。
    • (f) CTBは、堅牢なセキュリティー実務を維持する。CTBは、独立した検証の取り組みを支援するため、申告された学習実行に関する情報を米国及び中国と共有する。
    • (g) 締約国が、自らの検証活動又はその他の方法によって、指定された閾値を超える学習実行を発見した場合、その締約国は当該学習実行をCTBへ報告し、実行中であれば停止しなければならない。その学習実行は、CTBの承認がある場合に限り再開することができる。
  3. 各締約国及びその管轄下の主体は、監視閾値未満の計算量(FLOP)で、CTBの監督又は承認なしに学習を実行することができる。

  4. CTBは、第III条に定める執行理事会の拒否権に服することを条件として、安全性評価、自動運転車、医療技術、及び事務局長が安全と判断するその他の活動などについて、個別の適用除外を認めることができる。この適用除外により、CTBの監督下で禁止閾値を超える学習実行を認め、又は監視閾値と禁止閾値の間の学習実行について、CTBによる承認を原則とすることができる。

  5. CTBは、許容されるAIの手法及び技法を定めたAI技法ホワイトリストを作成し、維持する。CTBは、第III条に従って、このホワイトリストを変更することができる。監視閾値を超える学習実行には、このホワイトリストの技法のみを使用できる。

第IV条の先例

本合意に定めた閾値の数値は、初期の起草段階を越える際に見直すことができますし、見直すべきでもあります。しかし、数量上の上限を設けること自体は、国際合意では一般的です。そうすることで、定性的な表現の解釈の違いをめぐって生じかねない紛争を、あらかじめ防げます。

1974年の地下核実験制限条約は、米国とソ連が行う地下核実験に、150キロトンという上限を設けました。4 この条約の目的と効果は、都市を壊滅させる、さらに大きく破壊力の強い核弾頭の開発を、少なくともある程度妨げることにありました。AI開発との重要な共通点は、2025年半ばの時点では、より汎用的で高性能な、したがってより危険なモデルを作るには、それに応じて大規模な学習実行が必要だということです。本合意が定める上限は、そのようなAIの意図的な開発を防ぐことを目指しています。同時に、予想していなかった能力の閾値を、偶然、しかも取り返しのつかない形で越えてしまうリスクを減らすという、核実験の例とそのまま対応するものではないにせよ、不可欠な利点を得ることも目指しています。

出発点として提案した学習の上限は、現在学習されているAIモデルの一部が超えるほど低いものです。私たちはこれを、学習量あたりのモデルの能力を高める進歩を見越した、慎重な措置だと考えています(第VIII条で論じます)。現在の最大水準を下回る閾値を設ける先例は、軍備削減合意にあります。1922年のワシントン海軍軍縮条約は、軍艦の排水量の上限を定め、米国などの海軍国に数十隻の主力艦を廃棄させました。5 1991年のSTART条約の第II条では、6 米国とソ連、後にはロシア連邦が、核兵器の保有量と運搬手段の規模に制限を設けることに同意しました。そのため、両国はそれぞれ4,000発を超える弾頭を、段階的に退役させる必要がありました。

規制を突破する余地を抑える数量上の閾値の先例については、第V条で論じます。

第IV条の解説

近年のAIの進歩は、何よりもまず、AIの学習に投入する計算資源の増加によってもたらされてきました。この資源と、アルゴリズムを進歩させる研究(第VIII条)を制限すれば、近い将来に超知能が作られるリスクは大幅に下がるでしょう。

本案の制限は、使用する計算の演算回数に基づいています。比較的定義しやすく、測りやすいからです。既存の最先端AIの性能から、少なくとも2025年半ばのアルゴリズムを用いる場合には、どの程度の計算用ハードウェアなら安全そうかを判断できます。

できれば、学習後のシステムの能力に基づいて学習を制限したいと考えています。しかし、新しいAIが何をでき、何をできないかを、学習前に確信を持って予測する技術的能力は、誰も持っていません。計算資源は、現に使える代替指標なのです。

学習に対する禁止閾値(10^24 FLOP)による厳格な禁止は、2025年8月時点で最先端に近いモデルの学習に用いられた計算量を、やや下回るものです。たとえばDeepSeek-V3は、3×10^24 FLOPで学習されました。この閾値を提案するのは、現在のアルゴリズムを前提にAIが危険になると私たちが予想する水準を下回り、アルゴリズムの進歩に対しても多少の余裕と緩衝域を確保できるからです。

10^23を超える事後学習の禁止は、合意発効前に作られたAIの事後学習に適用することを意図しています。その多くは、10^24 FLOPを超える計算量で学習されているでしょう。2025年半ばには、そのようなモデルが50〜100ありました。それらのAIの多くは重みが一般公開されているため、人々が使うのを防ぐことは現実的ではありません。しかし、事後学習による大幅な改変を防ぐことは可能です。

H100を16基用いて10^22 FLOP(監視閾値)の学習を実行するには、およそ1週間かかります。十分に多くの計算を要するため、趣味で小規模な許可されたモデルを学習させる人が、うっかり閾値を超えることはありません。現在のアルゴリズムで10^22の規模で学習されたAIは、これまでのところ無害に見えます。ただし、防げなかったAI研究の進歩によって状況が変わる可能性があるので、監視し続ける必要があります。

中規模の学習を監視すれば、禁止をすり抜けて生じるアルゴリズムの進歩を、CTBがある程度把握し続けられます。第XIII条では、この範囲で学習されたモデルの評価を定めています。これにより、CTBはAI開発の動向を知り、必要に応じてFLOP閾値を調整しやすくなるでしょう。

CTBの職員には、さまざまな制限のもとで、監視対象の学習実行に用いるデータへのアクセスを認めます。制限の目的は、記録やその他の監督手段によって、学習データに含まれる機微な内容の無許可の開示を防ぐことを保証する点にあります。その内容には、個人を特定できる情報、個人の健康情報、機密情報、営業秘密、秘密保持法の対象となる銀行データなどを含みますが、これらに限りません。

第V条――チップの集約

  1. 各締約国は、自国の管轄下にある、第II条で定義されるすべての対象チップクラスター(CCC、すなわち能力がH100換算で16基分を超えるチップの集合)[2025年時点でH100を16基そろえると約50万ドルになり、個人が所有することはまれである]がCTBに申告された施設に設置され、これらのAIチップがCTBの調整の下で締約国による監視を受けることを確保する。

    • (a) 締約国は、これらの申告済み施設において、AIチップに付随するものではない非AI用コンピューターハードウェアをAIチップと同じ場所に設置することを避けるよう努める。
    • (b) これらの施設は現地での査察が可能であるものとする。例えば、検証チームが国際定期便の就航する少なくとも一つの空港から12時間以内にどのCCCにも到達できることなどが含まれうる。
    • (c) 締約国は、すべての場所を監視することが実行不可能になるほど多数の場所にAIチップを分散して収容しない。CTBから要請された場合、締約国はAIチップをさらに集約し、監視対象施設の数を減らさなければならない。
  2. CCCの一部ではない未監視のAIチップ(すなわち能力がH100換算で16基分未満のもの)は、その保有分を集積したりネットワークで接続したりしてCCCの定義に該当させず、監視を回避するために拠点間で持ち回らず、禁止された学習に使用しないことを条件に、CTBへの申告済み施設の外に置くことができる。締約国は、新たに形成されるCCCが検知され、監視を受け、禁止された学習に使用されないよう、AIチップの販売と集積を監視する合理的な努力を払う。

  3. 各締約国は、本合意の発効から120日以内に、すべてのCCCの所在を特定し、目録を作成し、CTBへの申告済み施設に集約する。締約国は、この要件を回避するため、又は本来CCCに分類されるチップの集合をCCCに分類されないようにするために、チップを分散させ、隠匿し、又はその他の方法で配置を変更しない。

  4. 本合意の締約国は、CTBの調整の下で、現地査察、書類と目録の検証、移送及び査察時の国内当局への同行、第X条に基づく締約国との情報共有などを通じて、国内の集約過程を監視する。CTBは移送について管理履歴の記録を要求できる。締約国は第X条に定める要請査察を実施できる。締約国は、監視活動を行う査察官に対し、関連する施設、輸送拠点及び記録への適時のアクセスを提供する。第X条の内部告発者保護及びインセンティブは集約過程にも適用され、CTBは保護された通報経路を維持する。

  5. 締約国は、本合意の発効から120日以内に、自国のCCCの登録簿をCTBに提出する。登録簿には、CCCにあるすべてのAIチップの所在地、種類、数量、利用可能な場合はシリアル番号その他の一意の識別子、及び関連する相互接続を記載しなければならない。各締約国は、90日を超えない間隔で、最新かつ正確な登録簿をCTBに提供する。

  6. 締約国は、国内移送か国際移送かを問わず、予定するAIチップの移送について、予定日の少なくとも14日前にCTBへ事前通知する。移送はすべて、実施前にCTBの承認を受けなければならない。査察官には移送に立ち会う機会を与える。国際移送では、送り出す締約国と受け入れる締約国の双方が、経路、管理及び受領についてCTBと調整する。安全上又は保安上の理由で緊急移送を実施する場合は、実行可能な限り速やかにCTB及び執行理事会に通知し、CTBは移送が報告どおりに行われたことを検証する。

  7. 故障品、不良品、余剰品その他の使用を終了したAIチップも、CTBの調整の下で破壊が認証されるまでは、機能するチップとして引き続き扱う。締約国は監督なしにAIチップを破壊しない。破壊又は恒久的な動作不能化は、CTBが承認した方法を用い、監督下で実施し、CTBに提出する破壊証明書に記録する[詳細は附属書で説明する必要がある]。こうしたハードウェアからの部品回収又は部品の再販売は、CTBが明示的に認めた場合を除き禁止する。

第V条の先例

規制を課す条約では、対象となる資産の申告が最初の一歩となることがよくあります。1922年のワシントン海軍軍縮条約の締約国は、主力艦とその排水量の目録を提出し、これらの艦船を代替する際には互いに通知することを約束しました。1991年の第一次戦略兵器削減条約(START I)には、申告されたすべての戦略兵器の所在地データの共有について定めた、座標及び施設配置図の交換に関する秘密扱いの合意(第VIII条)が含まれていました。私たちの合意案の第V条第3項は、締約国に対し、120日以内に対象チップクラスターの所在を特定し、目録を作成し、集約するよう求めています。

遵守の検証を容易にするための資産の集約も、規制を課す条約によく見られる措置です。START Iの第III条は、監視を容易にするため、ICBMを宇宙打上げ施設と同じ場所に設置することを禁じました。第1項(a)が締約国に「これらの申告済み施設において、AIチップに付随するものではない非AI用コンピューターハードウェアをAIチップと同じ場所に設置することを避ける」よう求めるのも同じ理由です。

集約を進めるもう一つの理由は、ブレイクアウトの可能性を制限することです。ブレイクアウトとは、他の誰かが阻止できるようになる前に、ある締約国がASIを作り出そうとすることを指します。集約された資産は監視しやすく、必要な場合には無力化もしやすくなります。無力化措置が実行されるという信頼に足る見通しは、拒否的抑止の実効性を高めます。

相互の信頼が限られる状況で結ばれた過去の条約では、監視と査察がよく盛り込まれています。そのため私たちも、本条第1、4、6、7項の適切な箇所にこれらの規定を設けました。具体的な先例としては、次が挙げられます。

  • START Iの検証では、最初の数年間に数百回の現地査察が行われました。
  • 化学兵器禁止条約(CWC)はすべての化学兵器生産施設の申告と査察を義務づけており、これまでに97施設が申告され、その大半は検証を伴う形で破壊されました。(これらの合意は既存施設の申告を求めると同時に、特定の活動を申告済み施設の外で行うことを禁じています。これは本条による未監視のCCCの禁止に相当します。)
  • 核不拡散条約(NPT)の枠組みの一環として、世界の700を超える申告済み核施設がIAEAによる監視を受けています。

本条第3項と同様に、多くの軍備管理合意は、検証に関して締約国が互いのNTMを妨害しないことを要求しています。例としてSALT I7、ABM条約8、INF条約9、START Iが挙げられます。

約束を履行するために国内の民間産業を規制する先例(AIでも必要になります)は、米国がCWC批准後に制定した法律に見られます。1998年化学兵器禁止条約実施法と商務省の規則は、米国の事業体による遵守を確保しました。同様に米国議会は、モントリオール議定書の批准後、オゾン層破壊物質を禁止するため、大気浄化法を改正しました。

米国でチップの集約を実施する方法としては、憲法修正第5条の収用条項を利用することも考えられます。この条項では、政府は適切な補償を支払う限り、土地収用権を行使して公共目的のために私有財産を収用できます。

第V条の解説

第V条は、すべてのAIチップクラスター(すなわち、一定の小さな規模を超える、相互接続されたチップの集合)とAIチップの圧倒的大多数を、監視対象施設に集約することを目指しています。監視と拡散防止は第VI条で扱います。

私たちの案は、すべての締約国が他のすべての締約国もチップを集約したことを確認できるよう、この過程を国際的に検証することを定めています。大規模なAIデータセンターについては、情報機関がすでにその所在を把握している可能性が高いため、この種の検証は容易に行えると考えられます。小規模なデータセンターについては、国内の集約の取り組みを監督するための調整をCTBが担えます。

チップの集約は、人工超知能の開発を制限するための重要な第一歩です。チップを申告済み施設に集約すれば、使われ方をさらに監視したり、安全に使用できない場合には電源が切られていることを検証したりできます。また、締約国が合意違反を続ける場合に第XII条に基づき必要となりうる、チップの無力化も容易になります。

CCCには危険をもたらす能力があるものの、私たちは合意の条文で、人口密集地から離れた場所への設置を勧めることは避けています。その理由は、合意違反の場合でも、データセンターは大きな付随的被害を生じさせずに停止できると考えられることと、今日のデータセンターはすでに都市の近くに設置されることが多いことの両方にあります。とはいえ、AIデータセンターは重大な安全保障上の脅威となりうるため、別の合意では軍事施設として扱うほうが望ましいと判断されるかもしれません。

集約の検証

ほとんどの締約国は、他の締約国が規則を守ると無条件に信じることはないでしょうし、信じるべきでもありません。遵守を検証する何らかの方法が必要です。AIチップを申告済み施設に集約すれば、査察と監視によってチップの存在と稼働状況を確認できます。

AIチップを監視する別の方法があれば、集約は必ずしも必要ではないかもしれません。しかし残念ながら、現在のチップに備わるセキュリティ機構は限られているため、既存のAIチップ在庫をすべて物理的に破壊する以外に、現時点で実行可能なのはこの方法だけだと私たちは考えています。

将来は、AIチップを遠隔から管理できるハードウェアによるガバナンス機構が開発され、申告済みの場所への集約が不要になる可能性があります。Aarneほか(2024年)は、こうしたチップ上のガバナンス機構の一部について、実装までの時間を推計しています。その推計は、さまざまな敵対者に耐えられる機構を開発するまでの期間を扱っています。簡潔にするため、ここでは、有能な国家主体がひそかに敵対的な行動を取り、ガバナンス機構の突破を試みるかもしれないものの、発覚すれば重大な結果を被る状況での安全性についての推計を用います。同論文は、理想的な解決策の開発には2〜5年、安全性は劣るものの実用に耐えうる選択肢ならわずか数か月で利用可能になると推計しています。

この報告書が出てから1年以上経っていますが、これらの機構に向けた大きな進展を私たちは把握していません。Aarneほかの推計で最も適切なのは、さらに2〜5年という数字だと考えています。つまり、チップのセキュリティ対策を数年間研究開発した後、新たに安全な監視が可能なチップを生産するか、既存のチップを改修するか、又はその両方のための追加の期間を経れば、集約せずともチップを確実に監視できるようになるかもしれません。Aarneほかは前者には4年かかる可能性があると推計していますが、チップの追跡がすでに行われているなら、改修は1〜2年でできるのではないかと私たちは楽観しています。

第V条で論じる集約は、対象チップクラスターを物理的に集めることを伴いますが、政府がチップの所有権を取得することまでは求めません。大規模データセンターでは、関係する締約国の監視と監督を受ける限り、データセンターもチップも、民間所有のまま現在地に置くことを合意は認めています。この監視によって、データセンターが行うのはAI以外の活動か、古いモデルの実行といった許可されたAI活動だけであることを確保します。小規模なチップの集まりについては、所有者が引き続き遠隔で利用できるようにした上で、より大きなデータセンターへ物理的に移す必要があるかもしれません。クラウドコンピューティングではすでに一般的な形態なので、私たちはこれを過度に負担の大きい制限とは考えていません。

実行可能性

AIチップの大半を、検証を伴う形で集約することは実行可能に見えます。H100換算で10万基分を超えるような最大規模のAIデータセンターは、隠すのが困難です。物理的な規模と電力消費から検知でき、多くは公にも報道されています。実際には、情報機関はH100換算で約1万基分という比較的小規模なデータセンターまで、おそらく追跡し、所在を特定できるでしょう。それより小規模なデータセンターの所在を特定するには、国内当局がさまざまな権限を使い、CTBの査察官と協力することになります。

国家には、国内で所有されるチップを探し出すさまざまな手段があります。H100を16基超含むチップクラスターの全面的な報告を法的に義務づけたり、チップ販売業者の販売記録やその他の財務情報を利用したり、データセンター建設に詳しい技術者から聞き取りを行ったりできます。チップの密輸、実態の不透明化、隠匿が疑われる場合は、法執行機関による追加捜査も可能です。この国内での集約過程は、徹底した遵守を確保するためにCTBの査察官が監督します。

大規模データセンターの所在は、数日から数週間で速やかに特定できるかもしれません。実際のチップの集約は、CCCとなる施設でデータセンターの収容能力を増強する必要が生じうるため、より長くかかる可能性があります。

重要な課題の一つは、締約国が未申告のAIチップを使って秘密裏にAIプロジェクトを進めていないと、根拠をもって確信できるようにすることです。チップの集約は一定の保証を与えますが、自国内の集約を意図的に妨げる国がありうるなら、それだけでは不十分かもしれません。違法なAIプロジェクトが行われていないことについて、さらに確かな保証を得る方法は、第X条の情報収集と要請査察の議論を参照してください。

チップの集約に関するより詳しい議論は付録Dを参照してください。

CCCの定義について

私たちのCCCの定義では、H100換算で16基分を境界としています。この閾値は、いくつかの基準を満たすことを狙っています。

  • H100を16基超含むチップクラスターを監視することは、第IV条の学習FLOP閾値とうまく整合します。H100を16基用いた学習では、FP8精度、稼働率50パーセントという現実的ながら楽観的な条件で、10^22 FLOP(監視閾値)に達するのに7.3日、10^24 FLOP(禁止閾値)に達するのに2年かかります。したがって、未申告のチップで下の閾値まで到達することは可能ですが、学習の禁止閾値に達するのはやや非現実的になります。
  • この閾値は、第VIII条のAI研究の禁止と組み合わせれば、AI能力の進歩を防ぐ上で十分かもしれません。第IV条は、大規模な学習を禁止し、中規模の学習は監督下で許可するという学習制限を定めています。H100を16基使って現実的な期間内に実施できる程度の小規模な学習を認めても、おそらく許容できる、つまりリスクはごく小さいと考えられます。
  • この閾値が趣味で利用する人や消費者に及ぼす影響は限定的です。H100を16基超所有する個人はごくわずかです。2025年半ば時点で、H100チップ16基の価格は約50万ドルでした。古いゲーム機を何台か置いていたら、うっかり超えてしまうような閾値ではありません。
  • 許容する数量が小さくなるほど、AIチップの集約は難しくなります。10万基のチップを備えるデータセンターを見つけるのは容易です。1万基の場合もおそらく比較的容易ですが、1,000基では不明確で、100基未満ではかなり難しくなり始めるかもしれません。H100を16基とする閾値での監視にも困難が予想されますが、それより低い閾値ほど実行が困難になることも、これを選んだ理由の一つです。
  • 執行上の困難が予想されるものの、この定義を見直し、閾値を引き下げる必要が生じる可能性もあります(例えばH100換算で8基分)。私たちの合意では、CTBがこの定義を評価し、必要に応じて変更する任務を負います。

その他の検討事項

本条は、AIチップに付随するものではない非AI用チップを、AIチップと同じ場所に設置することを避けるよう締約国に求めています。これは、同じ場所への設置がチップの使用の検証(第VII条)を難しくする可能性があるためです。ただし、絶対に必要というわけではなく、望ましくない場合もあります。現在、AIチップは非AI用チップと同じ場所に置かれることが多く、その変更に伴う不便さが、両者の混在するデータセンターでAIチップを監視・検証する不便さを上回るかもしれません。

一般市民が、クラスターに属していない「ばらの」H100換算チップを使って未監視のCCCを組み立てるリスクもあります。これに対処するため、合意は、締約国がチップの販売(H100換算で1基分を超えるもの)を監視し、新たなCCCの形成を検知するために「合理的な努力」を払うことを定めています。こうしたチップとその売買のすべてについて正式な登録・追跡を義務づけるなど、より厳しい措置も可能です。私たちの案がそこまでは求めていないのは、CCC内のすべてのチップを目録化した後に、所在不明の「ばらの」H100換算チップがそれほど大量に残るとは考えていないことと、第X条の内部告発者保護など、他の仕組みも新たなCCCの発見に役立つことの両方によります。

小規模なクラスター(例えばH100が100基)まで直ちに集約を義務づける代わりに、合意で段階的な方法を採用することもできます。例えば、最初の10日間でH100換算で10万基分を超えるチップを持つすべてのデータセンターを集約して申告し、次の30日間でH100換算で1万基分を超えるすべてのデータセンターを集約して申告する、といった方法です。段階を設ければ、情報機関が検知の取り組みを強化するにつれて拡大する国際的な検証能力に、より適合するかもしれません。

段階的な方法の欠点の一つは、国家にチップを隠し、秘密のデータセンターを設置する機会をより多く与えかねないことです。それでもこの方法は、検証と執行の手段に制約がある中で運用されてきた、いくつかの国際合意と似ています。例えば1963年の部分的核実験禁止条約は、検知が難しいことを理由に、核兵器の地下実験を禁止しませんでした。

第VI条――AIチップ生産の監視

  1. CTBは、AIチップ生産施設及びチップ生産の主要な投入要素の監視を調整する。この監視により、新たに生産されるすべてのAIチップが、生産直後から申告済みCCCに設置されるまで追跡・監視され、未監視のサプライチェーンが構築されないことを確保する。

    • (a) CTBは、AIチップ及び関連ハードウェアを生産している、又は生産する可能性があると判断されたAIチップ生産施設の監視を調整する[AIチップ生産施設、AIチップ及び関連ハードウェアの厳密な定義は、附属書でさらに詳述する必要がある。監視方法も附属書に記載する必要がある]。
    • (b) 新たに生産されたAIチップの監視には、生産、販売、移転及び設置の監視を含める。チップ生産の監視は製造工程から開始する。対象となる活動全体には、高帯域幅メモリー(HBM)の製造、ロジックチップの製造、試験、パッケージング及び組立てを含める[この活動の範囲は附属書で明記する必要がある]。
  2. 追跡・監視が実行不可能な施設、又は実施されていない施設では、AIチップの生産を停止する。CTBが、許容できる追跡・監視措置が実施されたと宣言した場合、AIチップの生産を継続できる。

  3. 監視対象のチップ生産施設を廃止し、又は他の用途に転用する場合、CTBはその過程の監督を調整し、十分な形で実施された場合には監視義務を終了する。

  4. 締約国は、CTBの許可及び追跡の下で行う場合を除き、AIチップ又はAIチップ製造装置を販売又は移転しない。

    • (a) 本合意の締約国内又は締約国間におけるAIチップの販売又は移転は、承認を原則とし、CTBが追跡する。
    • (b) 本合意の締約国内又は締約国間におけるAIチップ製造装置の販売又は移転は、承認を原則としない。そのような移転の承認には、受領する締約国による転用又は本合意からの脱退のリスクに関する評価に基づき、執行理事会のコンセンサスを必要とする。
    • (c) 非締約国又は締約国の外にある事業体へのAIチップ及びAIチップ製造装置の販売又は移転は、不承認を原則とする。
  5. 締約国は、CTBの許可及び追跡の下で行う場合を除き、非AI用の先端コンピューターチップ又は非AI用の先端コンピューターチップ製造装置を、非締約国又は締約国の外にある事業体に販売又は移転しない。

  6. 本合意の締約国内又は締約国間における、非AI用の先端コンピューターチップ又は非AI用の先端コンピューターチップ製造装置の販売又は移転は、本条による制限を受けない。

  7. 本合意からの急速なブレイクアウトを可能にする過剰なチップ生産能力の蓄積を防ぐため、執行理事会はAIチップの年間総生産量に制限を課すことができる。この制限は、老朽化したチップの交換と承認済み用途での緩やかな拡大を認めつつ、締約国が脱退後にASIを開発するのに必要な時間を短縮するような備蓄を防ぐことを目的とする。

第VI条の先例

生産施設の監視を定める条約規定は、新しいものではありません。1987年のINF条約第XI条は、中距離核運搬システムをかつて生産していた指定施設について、13年間にわたる査察を認めていました。付属の査察議定書第VII節は、施設の外周と出入口の継続的な監視を認めており、対象となるミサイルを運べるほど大きな車両が施設から出る際には、その重量測定、場合によってはX線検査も実施できました。

AIチップの生産の監視は、外見からチップの機能と能力を見分けるのが難しいため、より複雑です。そのため私たちの合意案の第VI条は、監視方法と併せて「関連ハードウェアを附属書でさらに詳述する必要がある」としています。それでもNPTの下でのIAEA保障措置の経験は、サプライチェーン全体にわたる多様な生産構成要素や前駆物質を検証できることを示しています。IAEAが用いる方法の一つは、査察を行いやすくし、遵守費用を抑えるため、施設設計の指針を提供することです。

完成品、前駆物質及び生産装置の移転禁止(ここで提案している、非締約国やその事業体へのAIチップ及び先端コンピューターチップ製造装置の販売・移転に対する禁止など)には、いずれも多くの先例があります。

  • NPT第I条で、各核兵器国は「いかなる受領者に対しても、核兵器その他の核爆発装置を移譲しない」ことを約束しています。また第III条第2項では、「原料物質若しくは特殊核分裂性物質」、又は「特殊核分裂性物質の処理、使用若しくは生産のために特に設計され若しくは製作された」装置を提供しないことにも合意しています。
  • 同様にCWC第I条は、「直接又は間接に、化学兵器をいかなる者に対しても移譲」しないことを締約国に約束させています。第VII条は、列挙された前駆物質に、所定の「生産、取得、保有、移譲及び使用の禁止」を適用するよう求めています。
  • 冷戦期の対共産圏輸出統制委員会(CoCom)は、西側諸国から共産圏への輸出を協調して管理する仕組みを設けました。対象には核関連物質、軍需品、半導体などの軍民両用の工業製品が含まれていました。
  • 原子力供給国グループは、核兵器計画に転用されうる原子力技術及び関連技術の供給を制限する多国間の輸出管理枠組みです。
  • 特に関係が深いのは、ここ数年に数十か国を対象として米国が導入してきた、AIチップと先端チップ製造装置に重点を置く一連の輸出管理です。
第VI条の解説

AIチップのサプライチェーンは、担い手が限られ、高度に専門化しているため、生産の監視は実行可能です。AIチップの圧倒的大多数はNVIDIAが設計しています。AIチップに用いられる最先端のロジックチップ(主な処理装置)はほぼすべてTSMCが製造しており、その市場シェアは約90パーセントです。AIチップの多くはTSMCの5ナノメートルのプロセスノードの各種バージョンで製造されていますが、このノードに対応する製造工場は、おそらく2〜3か所しかありません。先端ロジックチップの製造に不可欠なEUV露光装置を製造しているのは、ASMLだけです。AIチップのもう一つの重要な構成要素である高帯域幅メモリー(HBM)も、2〜3社が市場を支配しています。このように担い手が少なく、高度な技術を要するサプライチェーンは、比較的監視しやすく、秘密裏に再現するのが困難です。あまり強く言いすぎることは避けたいと思います。例えば中国では国内のサプライチェーンが育ちつつあり、注目すべきAIチップもいくつか生産されています。しかし、こうしたさまざまな留保を踏まえても、既存のチップ生産を監視することは十分に実行可能だと思われます。

AIチップ生産の監視が他の分野に及ぼす影響は、比較的小さいでしょう。一部の工程ではスマートフォン用チップなど他のチップも生産されますが、チップそのものは容易に区別できます。設計は時間とともに変化するものの、現在のAIチップであれば、大容量の高帯域幅メモリー(HBM)や行列乗算専用の構成要素などから識別できます。

AIチップのサプライチェーンを監視する上では、既存のボトルネックを踏まえ、HBMの生産、ロジックダイの製造、及びその後の工程(パッケージング、試験、サーバー組立てなど)を、EUV露光装置などの主要な投入要素と併せて監視することが、よい出発点になるかもしれません。

本条は、締約国内でのAIチップの販売について承認を原則とするとしていますが、AIチップ製造装置には同じ原則を示していません。AIチップの寿命は通常わずか数年なので、チップ販売がAI開発能力に及ぼす影響は比較的短期にとどまると考えられます。対照的に、チップ製造能力は、その後何年にもわたる大量のチップ生産につながりえます。ある国が締約国となり、AIチップのサプライチェーンを構築した後で合意を脱退することは、特に懸念されます。そのため私たちは、チップそのものよりもチップ製造装置に慎重な制限を課すことを提案しています。

本条第4項と第5項は、AIチップとチップ製造装置を締約国に販売することを認める一方、非締約国やその他の事業体への販売は認めていません。つまり締約国は、チップの製造と集中に伴うリスクを受け入れますが、それはチップが監視される場合に限られます。このため、他国から防護のための対応を受けずにチップを製造・保有できることが、合意への参加を促す積極的なインセンティブとなります。

これだけでは、非締約国が締約国内のAIチップを遠隔から利用すること(クラウドコンピューティング、すなわちInfrastructure-as-a-Service)は防げません。ただし、そのチップはCTBの監視下に置かれ、第IV条に違反する使い方がされないようにします。

必要であれば、非締約国への制限をさらに強めることもできます。例えば、非締約国がAIチップを遠隔利用すること(クラウドを通じて締約国内のAIチップを借りること)や、APIを通じてAIモデルを利用することを禁止できます。

チップ生産の監視と密輸の防止が実行不可能であれば、別の方法として、新たなAIチップの生産を全面的に禁止することが考えられます。この方法はチップが不正に転用されるリスクを減らしますが、研究や開発以外のAI用途でチップが生み出せたはずの価値を失うという代償があります。また、非AI用チップだけを生産していることや、施設が廃止されていることなどを確保するため、チップ生産施設への一定の監視は依然として必要です。私たちの合意案は、チップの利用がもたらしうる大きな利益を理由に生産の継続を認め、その危険性を監視(第VII条)によって軽減する設計になっています。

第VII条――チップ使用の検証

  1. 締約国は、申告済みCCCにおけるチップ使用全体について、継続的な現地検証を受け入れる。検証に用いる方法は、第III条に定める手続に従ってCTBが決定し、更新する。これらの方法には、以下を含めることができるが、これらに限定されない。

    • (a) 現地の査察官
    • (b) 改ざん防止カメラ
    • (c) 電力、熱及びネットワークの特性の測定(すなわちチップ外部の監視機構)
    • (d) 後付けの機構、及び遵守を検証できない場合に執行理事会がチップを無効化できる遠隔停止機能を含む、チップ上のハードウェアによる機構
    • (e) CCCの運営者による、チップのワークロード及び動作の申告
    • (f) 申告の正確性を確認するため、CTBの調整の下で行う、申告されたワークロードの再実行
  2. この検証の目的は、第IV条に定める大規模なAI学習などの禁止活動にチップが使用されていないことを確保することである。

  3. 現在の検証方法では、AIハードウェアが禁止活動に使用されていないことについて十分な保証を得られないとCTBが評価した場合、AIハードウェアの電源を切らなければならず、現地の査察官又はCTBが承認した他の検証機構によって、その非稼働状態を継続的に検証しなければならない。

  4. CTBは、適切な検証を確保するため、チップの動作方法にさまざまな制限を課すことができる。これらの制限には、以下を含めることができるが、これらに限定されない。

    • (a) 許可された推論と禁止された学習を区別するための、異なるチップ間、又はチップとデータセンターのネットワーク間の帯域幅及び遅延の制限。
    • (b) 許可された推論を、禁止された学習その他の禁止ワークロードから区別するための、チップが動作できるFLOP/sの数値若しくは速度、又はメモリ帯域幅の制限。
    • (c) AIワークロードと非AIワークロードを区別するための、チップの演算精度の制限。
  5. CTBは、AI活動に使用される可能性及び国家安全保障に関わる機微性に基づき、CCCごとに異なる検証方法を調整する。

    • (a) 機微性の高い施設では、技術的又は自動的な検証方法をより多く用い、外国の査察官が物理的に立ち入れる範囲を狭め、査察官の立入りに関する保安手順を強化することができる。
  6. CTBは、チップ使用の監視と検証のための、より優れた技術を開発する研究及びエンジニアリングを主導する。締約国はこれらの取り組みを支援する[詳細は附属書で定める]。

第VII条の先例

第VI条の先例の説明では、INF条約の下で行われた、かつての中距離ミサイル生産拠点の継続的な監視を取り上げました。この監視は、施設から出る車両の重量測定と非破壊スキャンを認める一方、トラックの内部や施設そのものへの査察官の立入りは認めていませんでした。データセンターでも同様に外周を監視すれば、電力消費、排熱、ネットワーク帯域幅から、稼働内容について一定の手がかりを得られます。しかし、制限対象のAI処理が行われていないことについて合理的な保証を得るには、改ざん防止カメラ、チップ上のハードウェアによる機構、現地の査察官など、第1項に列挙した要素のいくつかを組み合わせる必要があると考えられます。

国際原子力機関では、こうした手法はすでに日常的に用いられており、査察を補完するため、24時間体制の監視技術の利用を拡大しています。

世界各地の1,400台を超える監視カメラと、400台の放射線その他のセンサーが、100万件を超える暗号化された保障措置データを収集しています。核施設に設置された2万3,000個を超える封印が、物質と設備の封じ込めを確保しています。

START Iでミサイルの性能特性の遵守を検証するために用いられた方法の一つは、試験飛行中のセンサーから送信される、ほぼすべてのテレメトリーデータを共有することでした。これを定めたテレメトリー議定書は、データを解釈するのに必要な再生機器とデータ形式の情報も締約国に提供させていました。採用する検証方法の組合せによっては、一部の締約国は同様の方法を用いるかもしれません。その基礎となるのは、クラウドコンピューティング事業者が顧客のワークロードについて行う、すでに一般的となっている簡易な監視です。

民間の商業施設(データセンターの多くもそうです)を政府が継続的に監視することにも、多くの先例があります。国内の原子炉の安全性を監督する米国原子力規制委員会は、米国内の各商用発電所に2人の常駐検査官を配置しています。また、米国の食肉生産者は、FSIS10の検査職員が現場で監督していなければ、と畜作業を行えません。

第VII条の解説

締約国は、既存のAIチップが危険なAI学習に使われていないことを確かめたいはずです。一方、これらのチップを使い、ChatGPTの現行版のような既存のAIサービスを動かすことには、正当な理由があります。そこで合意は、AIチップが許可された活動にだけ使われていることを検証できるよう求めています。

本条は、合意への参加を促す積極的なインセンティブを生みます。監督によって、その利用が世界を危険にさらさないと検証できる限り、国はAIチップを使い続けられます。大規模なAI学習を防ぐという目的に照らすと、主な方法は二つあります。必要なハードウェアを誰も持たないようにすること(AIチップが存在しないようにすること)と、ハードウェアが超知能の開発に使われないようにすること(監視による方法)です。AIチップを引き続き安全に利用できるのは、監視があるからです。これは考え方の上ではIAEA保障措置に似ています。非核兵器国が核物質と核施設を持つことを認められるためには、IAEAが査察し、その利用が平和目的に限られることを確保する必要があります。

実行可能性

さまざまな技術的方法によって、検証を容易にできます。例えば2025年のアルゴリズムを使う場合、AIの学習には推論よりはるかに高い帯域幅が必要です。したがって、チップを低帯域幅のネットワークケーブルで接続すれば、実質的に、推論はできても学習はできないように制限されます。これらを含む各種の機構には、さまざまな細かな論点があります。関心のある方は、この主題に関する先行研究を参照してください。

本条は、広い意味での、より優れた検証機構を開発・導入する任務をCTBに与えています。AIの変化の速さや、予想外の進展によって検証方法が機能しなくなる可能性を踏まえると、この柔軟性は必要だと私たちは考えています。また、AIの検証研究はまだ初期段階にあります。検証技術をさらに発展させることは、重要な機会です。

新たなAIが作られているかどうかを検証するほうが、既存のAIが危険な推論タスク(超知能の創出を進める研究など)を行っていないと検証するより、はるかに容易です。2025年8月時点では、既存のAIが推論活動によって超知能の創出を大きく前進させるほど有能だとは、明確には見えません。そのため、監視の課題はより扱いやすくなっています。

AIの推論活動を監視することがどれほど難しいかは、はっきりしていません。現在すでに多くのAI企業が、例えば利用者がAIを使って生物兵器を作ろうとしていないかを検知するために、推論の監視を行っています。しかし、その監視が包括的かどうかは不明ですし、AIの高性能化を認めた場合に信頼性が低下するかどうかも分かりません。私たちの案に似た合意が発効するまでAI能力の進歩を認める期間が長くなるほど、監視は難しくなります。チップが許可された目的にだけ使われていることの検証は、より困難で費用のかかるものになり、場合によっては不可能になるかもしれません。

その他の検討事項

理論上は、遠隔監視を可能にする技術的手段によって検証を容易にできます。しかし現在の技術には、チップの所有者が監視措置を回避できるようなセキュリティ上の脆弱性が含まれている可能性が高いと考えられます。そのため検証には、現地での継続的な監視か、技術的手段が成熟するまでチップを停止しておくことの、いずれかが必要になりそうです。監視技術が成熟すれば、強固なハードウェアによるガバナンス機構によって、チップを遠隔から確実に監視できるようになるかもしれません。11

本条第5項は、CCCごとに異なる検証方法を認めています。この区別の理由の一つは実務上のものです。危険なAI開発に使われていないと根拠をもって確信するには、CCCごとに異なる検証方法が必要になります。例えば、以前に最先端AIの学習に使われていた大規模データセンターは、禁止された学習への寄与能力が最も高いため、より手厚い監視を必要とするかもしれません。

第二に、検証方法を分ければ、機微性の高いCCCに対して立ち入った監視をあまり求めずに済むため、合意が受け入れられやすくなります。例えば情報機関や軍は、自分たちのデータセンターに対するいかなる監視も望まないかもしれません。そうしたデータセンターは、AIとは無関係な目的に使われていても、H100換算で16基分を超える計算能力を持つ場合があります。本規定は、ここでの均衡を図る助けとなります。それでも、危険なAI活動に使われていないことの検証は必要です。執行理事会の構成国は、CTBを通じてこれらの組織と協力し、CCC所有者のプライバシーと安全保障上の要求にも応えながら、CTBが必要な情報を得られるようにします。その一方、異なる検証手順を認めることが不公平だとみなされれば、合意の実現可能性を損なうかもしれません。

私たちの合意案は、世界がチップの恩恵を受けられるよう、利用と生産の継続を認めています。代わりの方法として、新規のチップ生産を停止する、既存のチップを破壊する、又はその両方を行うことが考えられます。アルゴリズムの進歩がないと仮定すれば、チップの破壊は「ブレイクアウト時間」、すなわちある集団が超知能の創出を試み始めてから成功するまでの時間を延ばします。これは、アルゴリズムの進歩がない限り、合意に背く主体はチップの生産能力を開発しなければならず、それには長い時間がかかり、目立つからです。しかし私たちは、チップの追跡と使用状況の検証は実行可能だと考えているため、ブレイクアウト時間を延ばす利益が、すべてのAIチップを停止する代償に明らかに見合うとは考えていません。

第VIII条――制限対象の研究:AIアルゴリズムとハードウェア

  1. 人工超知能の開発を防ぐため、本合意は、ASIへの進展を実質的に促す研究、又は本合意の遵守の検証を損なう研究のみを制限する。これには機械学習分野の研究及び他の人工知能パラダイムの研究を含む。特定の用途(医療診断、科学的発見、産業オートメーションなど)に重点を置き、汎用的な認知能力をASIの水準へと進歩させない研究は、制限しない。制限対象の研究には以下を含む。

    • (a) モデルの能力を超知能の性能へと大きく高め、又はそのようなシステムの開発に必要な計算資源を劇的に削減する、汎用AIシステムの学習方法の改良
    • (b) 監視対象施設の外でASIの開発を可能にする分散型若しくは非中央集権型の学習方法、又は第IV条の計算量閾値を回避するために特に最適化された学習方法
    • (c) AI関連チップ又はチップ構成部品の製造の進歩
    • (d) より高性能又は高効率なAIチップの設計
  2. 汎用的な認知能力を進歩させない、特定用途向けのAI研究開発は許可し、奨励する。これには医療診断、創薬、材料科学、気候モデリング、特定作業向けのロボティクス、その他の専門用途などの領域での研究を含む。

  3. CTBの研究管理部門は、すべての制限対象の研究活動を、管理対象又は禁止対象のいずれかに分類する。

    • (a) 各締約国は、その管轄下のあらゆる管理対象研究活動を監視し、すべての管理対象研究が監視を受け、審査及び監視のために研究管理部門が利用できるようにする措置を講じる。
    • (b) 各締約国は、いかなる禁止対象研究も行わず、その管轄下にあるいかなる主体による禁止対象研究も禁止し、防止する。
  4. 本合意の締約国は、資金提供、調達、ホスティング、監督、指導、公表、管理対象のツール若しくはチップの提供、又は共同作業の促進などによって、禁止対象研究を支援し、奨励し、又は共有してはならない。

  5. 各締約国は、第III条で設置するCTBの研究管理部門に代表者を派遣する。この部門は以下の責務を負う。

    • (a) 新たな情報に応じ、また研究者、組織若しくは締約国側からの要請に応じて、制限対象研究の分類を解釈し、明確化するとともに、制限対象研究の範囲に関する質問に回答する。
    • (b) 新たな情報に応じ、また研究者、組織若しくは締約国側からの要請に応じて、管理対象研究と禁止対象研究の境界を解釈し、明確化するとともに、その境界に関する質問に回答する。
    • (c) 状況の変化、又は研究者、組織若しくは締約国側からの要請に応じて、制限対象研究の定義及び分類を変更する。
    • (d) 状況の変化、又は研究者、組織若しくは締約国側からの要請に応じて、管理対象研究と禁止対象研究の境界を変更する。
    • (e) CTBは、第III条に定める手続に従い、制限対象研究の分類、範囲及び定義を変更できる。
第VIII条の先例

危険な技術に関する情報の拡散を予防的に制限する先例として、現在も効力を有する1946年原子力法があります。この法律は、特定の主題に関する情報を原則として「制限情報」と定めました(生まれながらに秘密とする「born secret」の原則)。例外とするかどうかは、同法で新設された原子力委員会の裁量に委ねられていました。12

本節における「制限情報」とは、核兵器の製造若しくは利用、核分裂性物質の生産、又は発電における核分裂性物質の利用に関するすべての情報をいう。ただし、共同の防衛及び安全保障に悪影響を与えずに公表できると委員会が随時判断する情報は含まない。

他の種類の政府の秘密指定とは異なり、制限情報は民間部門でも、意図的にも偶発的にも生み出されえます。この点の合憲性は未解決であり13、制限情報の正確な境界について日々判断する権限と能力を備えた規制部門が必要であることを示しています。米国では、核の秘密についてこの役割を国家核安全保障局(NNSA)が担っています。私たちの第VIII条第5項では、制限対象のAI研究について研究管理部門がこの役割を担います。また第IX条に示すとおり、(1)秘密指定の境界に近づくプロジェクトに取り組む研究者や組織との関係を維持し、(2)偶発的な発見を報告し、その拡散を防ぐための安全な基盤を整備するという、NNSAに似た他の機能も果たします。

危険な分野の研究を封じ込め、管理することにも先例があります。第二次世界大戦の最後の数か月間、英米はアルソス作戦で協力しました。ドイツの核科学者を確保し、ドイツの原爆開発の進捗に関する情報を集め、ソ連が自国の核計画のためにこれらの資源を入手するのを防ぐためです。オーバーキャスト計画(ペーパークリップ作戦とも呼ばれます)は、戦後にドイツのロケット技術者を米国で雇用するための、米国の秘密計画でした。

制限対象のAI研究を締約国内にとどめるには、既存の規制枠組みを使うことも考えられます。米国には、次のようなものがあります。

  • 輸出管理法の「みなし輸出」という概念。規制対象技術を外国人と共有することを輸出とみなし、共有に先立ち、米国の事業体に産業安全保障局14から輸出許可を取得するよう義務づけます。
  • 国際武器取引規則(ITAR)。軍事技術と一部の軍民両用技術の輸出を管理する米国国務省の規則群です。暗号技術が米国軍需品リストで「防衛物品」に分類されていたため、ITARは1996年まで、民間部門による暗号技術の広範な開発と利用を防ぐために使われていました。
  • 1951年発明秘密法。国家安全保障に関わる新規の特許出願に「秘密保持命令」を課す権限を、米国政府機関に与えています。発明者は特許を認められないだけでなく、発明の開示、公表、さらには使用まで法的に禁じられることがあります。15

オーバーキャスト計画は、国家の利益のために行動するよう十分な報酬を払うという、単純な方法で研究者を管理する先例でもあります。こうしたインセンティブの他の先例は、第IX条で論じます。

1975年の組換えDNAに関するアシロマ会議は、とりわけ制御できるか確信の持てない新たな脅威に直面したとき、科学者自身が研究の禁止に自発的に合意しうることを示しています。この会議では、組換えDNA研究に関する自主的な指針が策定されました。そこには、病原性の高い生物に由来する組換えDNAや、毒素遺伝子を含むDNAのクローニングなど、特に危険な特定の実験の禁止も含まれていました。

第VIII条の解説

関連するノウハウがすでに民間部門に広がっている中で、研究のいくつもの広い分野を禁止することには困難が伴います。私たちの案では、AIの能力や性能を向上させる研究、又は前の各条で示した検証方法を危うくする研究を制限します。

学習に用いるFLOP数が一定でもAI能力が進歩しないようにするには、一部の研究を禁止しなければなりません。この禁止は、AIの学習をより効率的にしたり、AIの能力を高めたりする可能性があるすべての研究、すなわち一般に「アルゴリズムの進歩」と呼ばれるものを対象にする必要があります。現在のパラダイムでは、事前学習、事後学習、推論に使われるアルゴリズムの進歩がこれに含まれます。AI開発のパラダイムが変わったり、他のAI開発パラダイムが機械学習に追いついたりする可能性もあります。したがって、現在は機械学習が最も緊急性の高い優先事項だとしても、合意の対象をその研究だけに限定すべきではありません。合意は、他のAIパラダイム(コネクトミクス、脳に着想を得たAI、高速な遺伝的アルゴリズム、GOFAIなど)の研究も、それがASIにつながりそうな場合には、制限する余地を残しています。

Transformerアーキテクチャの開発など、これまでのアルゴリズムの革新は、AI能力が急速に進歩しうることを示しています。革新が続けば、一定水準のAI能力を得るのに必要な計算資源の量が劇的に減少する可能性があります。その実現可能性を示す根拠として、現代のAIは人間よりデータ効率がはるかに低いことに注目してください。このことは、データ効率が大幅に高いアルゴリズムを見つけられる可能性を示唆しています。

少数のAIチップ、又は小規模なクラスターとして地理的に分散した多数のチップで学習できる場合、危険なAIの学習を防ぐのは、はるかに難しくなります。

これとは別に、追跡されないAIチップを製造する新たな方法の研究も、禁止によって防がなければなりません。AIチップの監視と検証が実行可能なのは、その大きな理由として、現在の先端AI関連半導体の製造が複雑で、担い手が集中しているからです。

第VIII条は、より高性能又は高効率なAIチップの設計に関する研究も禁止します。そうしなければ、チップは毎年大幅に効率を高めていきます。より効率のよいAIチップを使うデータセンターは、同等以上の性能をより少ない電力で実現できるため、隠しやすくなります。

制限する研究の具体的な種類は、状況の変化に応じて更新する必要があります。例えば、AI学習を効率よく実行できる消費者向けハードウェアの研究が、検証にリスクをもたらすほど進歩する場合には、その研究も対象となりえます。

国内で研究を制限する取り組みは、研究の公表と資金提供に重点を置くことから始められます。ほとんどの研究者は、法を守り、仕事で収入を得る市民でありたいと考えています。危険なAI研究を、社会で受け入れられる規範の外へ押し出す措置は、効果を持つ可能性が高いでしょう。

第4項が多様な行為を制限しているのは、研究活動が複数の管轄区域に分かれても、個々の活動を禁止・防止する責任を各国が負うことを、合意で曖昧さなく確保するためです。例えば、ある管轄区域の企業が、第二の管轄区域にいる従業員を雇い、その従業員が第三の管轄区域でホストされているチップを遠隔操作する場合にも、第4項が適用されます。

第IX条――研究制限の検証

  1. 各締約国は、以下の責務を担う国内機関を新設し、又は既存の機関に権限を与える。

    • (a) 第VIII条で定める制限対象研究の分類を周知するため、制限対象研究の隣接分野に取り組む国内の研究者及び組織の動向を把握し、それらとの関係を維持する。
    • (b) 国内の研究者及び組織が制限対象研究を行うことを抑止するため、罰則を科す。この罰則は違反の重大性に見合うものとし、十分な抑止力となるよう設計する。各締約国は、これらの罰則を科せるよう、必要に応じて法令を制定し、又は改正する。
    • (c) 制限対象研究の条件に該当する偶発的な発見を報告し、その拡散を防ぐための安全な基盤を整備する。これらの報告は研究管理部門と共有する。
  2. 研究禁止の国際的な検証を支援するため、研究管理部門は検証機構を開発し、実施する。

    • (a) これらの機構には以下を含めることができるが、これらに限定されない。

      • i. 過去に制限対象研究の主題に取り組んだ研究者、又は現在その隣接分野に取り組んでいる研究者に対し、研究管理部門の調整の下で米国及び中国が行う聞き取り。不正行為がないことを確保するため、研究者の本国はこの聞き取りを監督できる。
      • ii. 過去に制限対象研究の主題に取り組んだ研究者、又は現在その隣接分野に取り組んでいる研究者の雇用状況の監視。
      • iii. リスクが高いとして選定された組織(例えば、制限対象研究と区別しにくいプロジェクトや、以前はAI研究組織であった組織)に、米国及び中国が派遣する監査官を常駐させること。
    • (b) 締約国、特に米国及び中国は、これらの検証機構の実施を支援する。

    • (c) これらの検証機構を通じて得た情報は、個人及び締約国のプライバシーと秘密を保護するため、機微情報を可能な限り秘密に保ちながら、執行理事会向けの報告書にまとめる。

第IX条の先例

第1項(a)が求める、制限情報を生み出す可能性のある「国内の研究者及び組織の動向を把握し、それらとの関係を維持する」権限を持つ既存機関としては、第VIII条の先例の節で論じたDOEとNNSAが挙げられます。

第2項(a)(ii)で提案する、リスクの高い分野の「研究者の雇用状況の監視」の先例は、国際科学技術センター(ISTC)16に見られます。1994年に設立されたISTCは、ソ連の核研究者が平和的な活動で収入を得られる仕事に就き続け、国際的な科学コミュニティとのつながりを保てるようにすることで、核拡散リスクを減らすことを特に目的として作られました。ISTCは、本合意の結果として失業する可能性のある技術専門家が制限対象研究に従事しないようにする上で、罰則を補うインセンティブが持つ可能性も示しています。

第IX条第1項(b)の抑止力を実現するには、厳しい罰則が必要になるかもしれません。ここに直接適用できるとは限りませんが、特定の状況で機微情報の共有を厳しく罰した先例はあります。1946年原子力法の執行に関する第18章には、無許可の開示に対する罰金と拘禁が含まれています。情報開示に関わる別の犯罪、具体的には反逆罪に、さらに重い刑が科されることもあります。17

「制限対象研究に当たる偶発的な発見を報告し、その拡散を防ぐための」安全な基盤を整備する際には、各種の機微情報を扱うDOEの広範な手順に、先例や利用可能なひな型が見つかるかもしれません。DOEの事象報告・処理システムや、国家安全保障システム委員会18の機密情報流出に関する指示も役立つ可能性があります。

研究管理部門は、査察手順を策定する際に、IAEAの既存の実務を参考にできるかもしれません。IAEA理事会が1997年に承認したモデル追加議定書の枠組みでは、包括的保障措置協定19を結んだ国は、未申告の核物質を探す補完的アクセス査察を認めています。そのような訪問の一環として、査察官は運営者から聞き取りを行うことができ、これは第2項(a)(i)の提案に相当します。

本条第2項(c)で求めるとおり、検証時に「個人及び締約国のプライバシーと秘密を保護する」ため、研究管理部門は、締約国の既存の情報機関や多国間の情報共有合意で用いられている、情報の区画化の慣行を応用できるかもしれません。例えば、こうした取り決めでは一般的だとされる「第三者ルール」又は「情報提供元による管理原則」の下では、提供元の機関の許可なしに、共有された情報を第三者(監督機関さえ含まれる可能性があります)に開示することが禁じられています。

第IX条の解説

禁止されたAI研究が行われていないことの検証を助けるため、第IX条は締約国に「制限対象研究の隣接分野」を画定し、そこで活動する研究者との関係を築く任務を与えています。世界の最上位のAI研究者は、そのかなりの割合の活動を追跡できるかもしれないほど、人数が限られています。主要なAI企業の技術職員は5,000人規模の研究者からなり20、最先端AIの開発に不可欠なのは、おそらく数百人という、はるかに小さな集団だと広く考えられています。21 主要なAI学会の参加者数は約7万人と推計されています。より広く数えれば、関連ハードウェア企業の従業員数はおそらく約100万人22、少なくとも基礎的なAIの技術知識を持つ人は、おそらく数百万人から数千万人にのぼります23。国家は、研究者に活動内容を聞き取ったり、内部告発者に亡命の受入れや金銭的なインセンティブを提供したりできます(第X条を参照)。

現在のAI開発の実態の多くは公に見える形で進んでいますが、私たちは、法的制限が、合意に背く主体による超知能機械の創出の試みを大きく妨げると考えています。

国家が追加費用を負担する意思を持つなら、半導体の設計・製造に携わる研究者や技術者にまで監視を広げることもできます。費用を抑えられる代替案としては、個人ではなく半導体製造企業を監視する方法があります。これは、業界内の複雑な依存関係によって、規則に背く少人数の集団が独自のチップ製造施設を作ることが難しくなる点を利用するものです。

締約国は、他の締約国が国内の研究禁止に違反し、外国の情報機関から研究活動を隠すことを懸念するかもしれません。多くの研究者とAI関連チップを投入する大規模な取り組みであれば、本腰を入れた情報機関はおそらく気づくでしょう。しかし、機械知能の代替パラダイムの開発のような小規模な取り組みでは、数人の研究者と一般に入手可能なハードウェアしか使わないかもしれません。研究管理の検証は、複雑で機微に触れる取り組みであり、継続的な努力と改善の繰返しを必要とします。そのため、次の第X条は、情報収集を容易にし、内部告発者を保護するさまざまな手段を設けています。

第X条――情報の集約と要請査察

  1. 連合にとって重要な情報源の一つは、締約国による独立した情報収集活動である。そのため、情報集約部門(第III条)は、この情報を受け入れる体制を整える。同部門は、締約国による検証及び監視活動を調整する。締約国は、情報機関の資源を含む自国の能力を用いて、監視、査察及び検証を実施する。CTBはこれらの活動の基準及び手順を定め、申告の受領と情報共有の中心的な窓口となる。

    • (a) 情報集約部門は、本合意の実施に伴い知り得た商業上、産業上、安全保障上及び国家の秘密、その他の秘密情報を保護するため、安全で秘密が保たれ、希望すれば匿名でも利用できる通報経路の維持を含む予防措置を講じる。

    • (b) 本合意の規定の遵守について保証を与えるため、各締約国は、一般に認められた国際法の原則に合致する方法で、自国が利用できる国家技術手段(NTM)による検証を行う。

      • i. 各締約国は、上記に従って運用される他の締約国の検証用の国家技術手段を妨害しないことを約束する。
      • ii. 各締約国は、本合意の規定の遵守について国家技術手段による検証を妨げる、意図的な隠蔽措置を用いないことを約束する。
      • iii. 締約国は、非締約国における危険なAI活動を検知する取り組みに協力することを奨励されるが、義務は負わない。締約国は、本合意に関係する範囲で、締約国が非締約国に向けて用いるNTMを支援することを奨励されるが、義務は負わない。
  2. 連合にとって重要な情報源の一つは、危険なAI活動の証拠を連合に提供する個人である。これらの個人には、内部告発者保護を適用する。

    • (a) 本条は、本合意への現実の違反、違反の試み若しくは計画、又は人類絶滅の重大なリスクをもたらすその他の活動について、信頼できる情報を誠実に連合又は締約国へ提供する個人(「保護対象内部告発者」)に対する保護、インセンティブ及び支援を定める。こうした違反や活動には、隠匿されたチップ、未申告のデータセンター、禁止された学習若しくは研究、検証の回避、又は虚偽の申告を含む。保護対象内部告発者には、従業員、契約業者、公務員、供給業者、研究者その他の重要な情報を持つ者に加え、開示を支援する、又は開示によって危険にさらされる関係者(家族及び親密な関係にある者)も含む。
    • (b) 締約国は、保護対象内部告発者及び関係者に対する報復を禁止し、防止する。報復には、解雇、降格、ブラックリストへの掲載、給付の喪失、嫌がらせ、威圧、脅迫、民事若しくは刑事の法的措置、査証の取消し、身体的暴力、拘禁、移動の制限、その他の不利益な措置を含むが、これらに限定されない。本合意で保護される開示を制限しようとする契約条項(秘密保持契約又は批判禁止契約を含む)は、すべて無効であり、執行できない。内部告発者への不当な扱いは本合意への違反を構成し、第XI条第3項に基づき扱う。
    • (c) CTBは、安全で秘密が保たれ、希望すれば匿名でも利用できる通報経路を維持する。締約国は、CTBのシステムと相互運用可能な国内の通報経路を設ける。CTB及び締約国は、保護対象内部告発者及び関係者の身元を保護し、厳に必要で、かつ保護措置が講じられている場合に限り開示する。保護される身元の無許可の開示は本合意への違反を構成し、第XI条第3項に基づき扱う。
    • (d) 締約国は、保護対象内部告発者及びその家族に庇護又は人道的保護を提供し、安全な通行のための渡航書類を交付し、安全な移動を調整する。
  3. 危険なAI活動に関する信頼できる情報に基づき、疑いのある拠点に対する要請査察を実施できる。

    • (a) 締約国は要請査察を求めることができる。執行理事会は、要請を受けて、又は情報集約部門が提供する分析に基づき、手元の情報を検討し、締約国若しくは非締約国に追加情報を求めるか、要請査察を提案するか、又は追加措置の必要がないと判断する。
    • (b) 要請査察には、執行理事会のコンセンサスによる承認を必要とする。
    • (c) 疑いのある拠点が所在する国は、執行理事会が要請査察を求めてから24時間以内に、その拠点への立入りを認めなければならない。その間、拠点を監視することができ、締約国の職員は、拠点から出るすべての人及び車両を検査できる。
    • (d) 要請査察は、査察を受ける締約国と査察を求めた締約国の双方が承認した査察官のチームが実施する。CTBは、この目的のため、締約国と協力して承認済み査察官の名簿を維持する責任を負う。
    • (e) 一つの締約国の領域内で実施できる要請査察は、年に最多20回とする。この上限は執行理事会のコンセンサスによって変更できる。
    • (f) 査察官は、査察を受ける締約国の機微情報の保護に万全を期し、本合意に関係する情報だけを執行理事会に伝える。
  4. 米国及び中華人民共和国による独立した検証活動

    • (a) 米国及び中華人民共和国はそれぞれ、本合意の遵守を評価するため、独立した検証活動を実施する。これらの検証活動は、各国の情報機関の既存の能力を基礎とし、連合技術機関の活動を補完する。
    • (b) 連合技術機関は、米国及び中華人民共和国の独立した検証活動を支援するため、自らが受領又は生成するすべての情報を両国に提供する。これには、申告、報告書、監視データ、査察結果、登録簿、その他本合意の遵守に関係するあらゆる情報を含むが、これらに限定されない。CTBは、米国及び中華人民共和国に提供する情報を選別したり、提供を差し控えたりしない。
第X条の先例

情報の集約の先例は、先に第VIII条で論じました。そこでは、「第三者ルール」のような情報の区画化の慣行を含むとされる、情報共有合意の存在を挙げています。同様の規則は、IAEAにも見られます。例えばINFCIRC/153第1部第5項には、次のようにあります。

……機関は、本協定の実施に伴い知り得た商業上及び産業上の秘密、その他の秘密情報を保護するため、あらゆる予防措置を講じる。

職員は守秘義務を負い、漏洩すれば刑事罰の対象となります。これは重要です。IAEAは、イランの未申告の濃縮活動の事例のように、衛星画像や文書を含む、参加国からの情報提供に助けられてきたからです。同様に、IAEAは提供された情報を受けて、北朝鮮の未申告のプルトニウム生産に対する特別査察を求めました。

多国間合意の検証において、国家技術手段(NTM、衛星画像、通信等の信号の収集、その他の遠隔探知)が不可欠な役割を果たすことを踏まえ、私たちの合意案は、弾道弾迎撃ミサイルシステムを制限するABM条約の文言を取り入れています。同条約は、「各締約国は国家技術手段による検証を行う」ことと、「他の締約国の検証用の国家技術手段を妨害しないことを約束する」と定めています。同様の文言は、1987年の中距離核戦力全廃条約第XII条、1996年の包括的核実験禁止条約第IV条、そして2010年の新START条約の各所に見られます。

ASIの場合、NTMだけでは危険な違反をすべて検知するには不十分なので、私たちはIAEA保障措置の枠組みから、内部からの通報を促し、その経路を提供する仕組みを取り入れています。ただし、この枠組みには明示的な内部告発者保護がないという弱点があります。当該国に適用可能な国内の保護制度がない限り、政府が報復を決めた場合に、NPTにもこれらの保障措置にも情報提供者を守る規定はありません。私たちの合意案の内部告発者保護と庇護の規定は、この欠点に対処するためのものです。

EUの最近のAI法制でも、同様の措置が取られています。EU AI法の前文第172項は、EUの既存の一般的な内部告発者保護を、AI法違反を報告する者にも明示的に拡張しています。

1951年の難民条約は、「迫害を受けるおそれがあるという十分な理由のある恐怖」を資格の基礎として、情報提供者に庇護を与える枠組みになりえます。ただし、AIに関する内部告発が、法的に該当する迫害理由となることを確保するには、改正又は補足的な合意が必要かもしれません。

冷戦期とその後には、機微に触れる知識や専門性を持つ人々に、庇護が日常的に与えられていました。1949年CIA法第7節は、「国家安全保障の利益にかない、又は国家の情報活動の任務を進めるために不可欠」とみなされる場合、会計年度ごとに最大100人の亡命者とその近親家族の入国及び永住を認めていました。1992年のソ連科学者移民法は、「核、化学、生物その他の先端技術分野の専門知識を持つ、又は核、化学、生物その他の先端技術に関わる防衛プロジェクトで働いている」旧ソ連及びバルト諸国の科学者に、最大750件の査証を与えました。

本条第3項で示す要請査察の仕組みは、CWC第IX部をモデルとしています。

各締約国は、不遵守の可能性に関する疑問を明らかにし、解決することのみを目的として、他の締約国の領域内、又はその管轄若しくは管理の下にある他のいかなる場所の、いかなる施設又は場所についても、現地の要請査察を求める権利を有する……

CWCは、米ソ間のINF条約やSTART I核条約などの他の軍備管理条約と同じく、NTMと要請査察に類する査察を組み合わせて遵守を検証します。

第X条の解説

情報収集

私たちは、すべての締約国が自国の安全保障のため、危険なAI活動を行っている主体がないか、独自に見極める努力を続けると見込んでいます。各国のさまざまな情報収集活動は、CTBが直接行う監視(第IV〜VII条で説明)を補い、その妥当性を確かめます。そのため情報集約部門は不可欠であり、すべての締約国から情報を受け取れるだけの信頼性を備えなければなりません。同部門は機微情報の秘密と安全を守ります。また、各国の情報機関に、自らの情報収集手法へのリスクは最小限であり、CTBに必要な情報を提供するために正当化できる範囲だと確信させられるほど、堅牢でなければなりません。可能な限り機微情報を収集せず、収集した情報は厳重に秘密を守ることで、漏洩などのリスクを最小限に抑えます。

第X条は、情報を得る必要性が高い非署名国の監視も扱います。

第X条は、監視を義務づけるところまでは踏み込んでいません。国家に確信を与えるのに必要な能力水準で、自立した情報収集能力をCTB内に設けるよう義務づけることには、先例がありません。また、超知能の創出が重大な安全保障上の脅威となることから、すべての締約国はすでに、その能力を持つあらゆる主体を監視する強い動機を持っています。この事実に照らしても、そのような義務づけは不要と思われます。したがってCTBは、重要な情報の提供を主に締約国に依存します。

内部告発者の保護

本合意全体の実効性は、他の締約国が禁止されたAI活動を行っていないと、締約国が根拠をもって確信できるかどうかにかかっています。国家技術手段やその他の情報収集を用いても、秘密裏の超知能開発を国家が検知することは難しいかもしれません。軍事施設内での取り組みなど、国家が競争相手の情報を収集するのが実行不可能な領域は数多くあります。内部告発者は追加の情報源となり、内部告発が起こりうること自体も、不遵守への抑止力を高めます。

内部告発者が有効となりうるのは、秘密の違反(秘密裏の学習実行やAI研究など)に関わる個人自身が、ASIの危険性を懸念しているかもしれないからです。本条は、違反の報告をより安全にし、本人の負担を減らすことで、黙っているよりも開示する方向へ個人のインセンティブを変えることを目指しています。

内部告発者は、例えば次の違反について警告できます。

  • 第IV条:監視されていない、閾値を超える、又は禁止された分散学習方法を用いる学習の実行。
  • 第V条:未申告のチップクラスターの存在、すべての対象ハードウェアを集約しないこと、又は秘密の未監視施設へのチップの流用。
  • 第VI条:新たに製造されたAIチップが監視から外れる形で流用されること、又は義務づけられたセキュリティ機能を備えずに製造されること。
  • 第VIII条:禁止されたAI研究。

内部告発に関する条項を変更すれば、その実効性や政治的な実現可能性もさまざまな形で変わりえます。例えば、各国は正当な内部告発者に金銭的な補償を申し出て、追加のインセンティブを与えることができますが、これは自国を裏切るよう市民に金銭を支払うことだと受け取られるかもしれません。

要請査察

要請査察は、合意が提供する重要な機能です。違反すれば発見されるという現実的な脅威がなければ、超知能を目指す競争は双方が損をするものであるにもかかわらず、締約国は競争相手が不正を試みるのではないかと恐れるかもしれません。情報収集は、離反する動機があるように見えるこの錯覚に対処する方法の一つです。

米国及び中華人民共和国による独立した検証活動

独立した検証活動があれば、検証の仕組みに冗長性が生まれ、合意が効果的に実施されていることについての全体的な保証が強まります。私たちは、米国と中華人民共和国は自らの分析に基づく独立した検証を必要とすると考えています。合意とCTBの活動は、こうした独立した取り組みを可能な限り支援します。

第XI条――紛争の解決

  1. いずれの締約国(「懸念を提起する締約国」)も、本合意の実施に関する懸念を提起できる。これには、状況が曖昧な場合や、他の締約国(「説明を求められた締約国」)による不遵守の可能性に関する懸念を含む。防護措置(第XII条)の濫用もこれに含まれる。

    • (a) 懸念を提起する締約国は、説明を求められた締約国に懸念を通知し、同時に事務局長および執行理事会にも共有する。説明を求められた締約国は、36時間以内に通知の受領を確認し、5日以内に説明を行う。
  2. 問題が解決しない場合、懸念を提起する締約国は、懸念に対する裁定およびその解明を支援するよう執行理事会に要請できる。これには、第X条に従った要請査察の実施を、懸念を提起する締約国が求めることも含まれる。

    • (a) 執行理事会は、その懸念に関係する保有情報のうち、適切なものを提供する。
    • (b) 執行理事会は、追加資料の取りまとめ、非公開の技術会合の開催、および解決措置の勧告をCTBに命じることができる。
  3. 執行理事会は、本合意への違反があったと認定した場合、危険なAI活動を防止し、または説明を求められた締約国を譴責するための措置をとることができる。これらの措置には、次のものを含めることができる。

    • (a) AI活動に対する追加の監視または制限を義務づけること
    • (b) AIハードウェアの放棄を義務づけること
    • (c) 制裁を求めること
    • (d) 第XII条に基づく防護措置をとるよう締約国に勧告すること
第XI条の先例

本案の第XI条に定める紛争解決手続きは、化学兵器禁止条約の第IX条、第XII条、および第XIV条を参考にしています。化学兵器禁止条約の第IX条は、説明の要請に対し、「できる限り速やかに、ただし、いかなる場合にも要請から10日以内に」回答することを署名国に求めています。デジタル分野の変化が波及する速さを踏まえ、本案では回答期限を5日としましたが、これでもさらに短縮する必要があるかもしれません。

本条第2項は、化学兵器禁止条約の第XIV条を手本にしています。同条は、同条約の執行理事会が「周旋を行うこと、紛争当事国である締約国に自ら選択した解決手続きを開始するよう求めること、および合意された手続きについて期限を勧告することを含め、適切と認めるあらゆる手段により紛争の解決に寄与する」ことを認めています。また、適切な場合には国際司法裁判所に事案を付託することも締約国に奨励しています。

本案の第XI条第3項と同様に、化学兵器禁止条約の第XII条は、「この条約によって禁止される活動により、この条約の趣旨および目的に重大な損害が生じるおそれがある場合」に、制裁を含む是正措置を勧告する権限を執行理事会に与えています。勧告に実効性を持たせるため、同条約の執行理事会は、「関連情報および結論を含む問題を、国際連合総会および国際連合安全保障理事会の注意に付す」こととされています。本合意の執行理事会の勧告も、同様に上位の場へ付託することが考えられます。

第XI条の解説

第XI条の目的は、署名国間で生じる問題を解決するための協議と説明の手続きを設けることです。

AIの技術革新の速さを考えると、妥当な期間内に違反の有無を判断することは容易ではありません。執行理事会の役割は、本合意のいずれかの締約国が提起した懸念に裁定を下すことです。CTBは、最先端のAI技術に通じた専門家による査察を調整する役割を担います。本合意では、AI分野の技術変化が急速であっても、締約国が防護措置(後述の第XII条)をとる前に裁定を待てるほど迅速に対応できることを期待し、時間単位・日単位の厳しい期限を設けています。とはいえ、もちろん、いかなる合意も、締約国が自国の安全を確保するために必要と判断した防護措置をとることまで阻止できるわけではありません。

第XII条――防護措置

  1. 第IV条から第IX条に定めるASIの開発またはその他の危険なAI活動が、世界の安全およびすべての人々の生命を脅かすことを認識し、本合意の締約国は、そのような開発を防ぐために抜本的な措置をとる必要が生じうる。締約国は、地球上のどこであっても、人工超知能(ASI)の開発がすべての締約国に対する脅威となることを認める。国際連合憲章第51条および長年の先例に基づき、国家は自衛権を有する。ASIに関連する脅威の規模および速度ゆえに、自衛のためにはASIの開発を防ぐ先制的な行動が必要となりうる。

  2. ASIの開発または配備を防ぐため、本条は、対象や状況に応じた防護措置を認める。国家その他の主体(締約国であるか非締約国であるかを問わない)が、第I条、第IV条、第V条、第VI条、第VII条、または第VIII条に違反して、ASIの開発または配備を目指す活動を実施している、または実施する差し迫った意図を有するという信頼できる証拠がある場合、締約国は、そのような活動を防ぐために必要かつ均衡のとれた防護措置をとることができる。防護措置がもたらす被害および事態をエスカレートさせる性質を認識し、防護措置は最後の手段として用いるべきものとする。緊急時および時間的猶予のない状況を除き、防護措置に先立って、次のものを含むがこれらに限定されない他の手段をとる。

    • (a) 貿易制限または経済制裁
    • (b) 資産に対する制限
    • (c) 査証発給の禁止
    • (d) 国連安全保障理事会への対応要請
  3. 防護措置には、AI開発を妨害するサイバー作戦、対象チップクラスターの阻止または押収、AIハードウェアを無力化または破壊する軍事行動、およびAI開発を直接可能にする特定の施設または資産の物理的な無力化などの措置を含めることができる。

  4. 締約国は、任務上の要件を前提とし、実行可能な限り、民間人および不可欠なサービスへの被害を含む付随的被害を最小限に抑える。

  5. 防護措置は、ASIの開発または配備の防止に厳格に限定し、領土の獲得、体制転換、資源の採取、またはそれ以外の広範な軍事目的の口実として用いない。領土の恒久的な占領または併合を禁止する。連合が脅威の消滅を確認した時点で、行動を停止する。

  6. 各防護措置について、その開始時に、または安全上可能となり次第、防護措置声明を公表する。声明では、次のことを行う。

    • (a) 行動の防護目的を説明する。
    • (b) 対象とする、AIを可能にする具体的な活動および資産を特定する。
    • (c) 停止の条件を明示する。
    • (d) その条件が満たされた時点で作戦を停止することを確約する。
  7. 次のいずれかに該当した場合、防護措置を遅滞なく終了する。

    • (a) 関連する活動が停止したと連合が認証した場合。
    • (b) 対象チップクラスターまたはASIを可能にする資産の引き渡しまたは破壊が検証された場合。これには、制限対象の研究活動を防ぐための十分な保障措置の確立を含めることもできる。
    • (c) 行動を実施している締約国が脅威は収まったと判断し、その旨をCTBに通知した場合。
  8. 締約国は、他の締約国が本条に基づいてとった節度ある防護措置を挑発行為とみなさず、それを理由とする報復または制裁を行わない。締約国は、上記の要件を満たす防護措置を侵略行為とも、武力行使を正当化する根拠とも解釈しないことに合意する。

  9. 執行理事会は、各防護措置が本条に適合しているか審査する。執行理事会が、ある行動について、必要性、均衡性、または適切な対象の選定を欠いていたと認定した場合、第XI条第3項に基づく措置をとることができる。

第XII条の先例

国家が自国の安全のために防護措置をとりうることは、先例の有無にかかわらず現実です。それを国際法に明文化した一例が、国際連合憲章第VII章です。同章は、安全保障理事会が必要に応じて、国際の平和と安全を維持するために軍事的または非軍事的措置をとることができると定めています。

上記の条文案における防護措置の考え方には、国際安全保障上の脅威とみなされる技術の開発を防ぐため、各国が単独または共同で行動した歴史的先例もあります。こうした行動は、制裁からサイバー攻撃、軍事攻撃にまで及びます。

イランによる核兵器開発を阻止する国際的な取り組みは、近年の明確な例です。国連安全保障理事会は、イランの核開発計画を理由に、同国に対して何度も制裁を科してきました。その大部分は、イランが2015年の包括的共同作業計画で核開発計画の制限に合意した後に解除されました。

米国とイスラエルは、極めて高度なサイバー兵器であるStuxnetで協力したと報じられています。Stuxnetは2010年に、イランのウラン濃縮用遠心分離機を多数破壊しました。

2025年6月には、イスラエルがイランの多くの核施設を空爆し、その9日後に米国も空爆を行いました。米国の攻撃は、フォルドウ・ウラン濃縮施設の無力化を目的の一つとしていました。

防護措置のもう一つの歴史的先例は、1990年代のイラクの核関連の不遵守に対する国際的な対応です。1991年の湾岸戦争後、イラクの大量破壊兵器の廃棄を監督するために、国際連合特別委員会(UNSCOM)が設置されました。UNSCOMの査察体制に従わなかったことは、最終的に1998年の砂漠の狐作戦につながりました。これは、イラクの大量破壊兵器製造能力を低下させるための爆撃作戦でした。

第XII条の解説

人工超知能の創出を防ぐ合意は、ASI開発を進める国に対する防護措置の必要性を明示せず、類似の合意でよくあるように、こうした力学を暗黙の了解にとどめてもよいかもしれません。本案があえて明示しているのは、この抑止体制が合意の実効性の中核をなしており、各主体に働く誘因を明確にすることで、その実効性が高まるからです。また、明示することで、防護措置が許容される場合をより詳しく記述するなど、その濫用の防止に役立つ措置も盛り込めます。

世界の指導者がASIの脅威を理解すれば、限定的な軍事介入を含め、規制を無視したAI開発を止めるための行動をとろうとする可能性が高いでしょう。標的を絞った空爆などの軍事行動は、他のあらゆる外交的努力が失敗した後に、ASIの開発を防ぐための最後の手段として、常に扱うべきです。しかし、無謀に創り出された人工超知能を、破壊的な技術ではなく有益な技術だと誤認している主体に対しても抑止と遵守の体制が機能するには、最後の手段としてそれを選択できることが重要です。

私たちは、いかなる武力行使もASIの防止に的を絞り、脅威が除去されたことが明らかになれば停止すべきだと強調します。第XII条は、他の締約国による合理的な防護措置を署名国が妨げないことを明確にする一方、この条項が濫用されていないか確認するため、その行動も審査の対象とすることを目指しています。

第XIII条――連合技術機関による審査

  1. 第IV条の制限内で、申告された学習または事後学習を通じて作成されたAIモデルについて、CTBは評価その他の試験を要求できる。これらの試験は、第IV条、第V条、第VII条、および第VIII条に定める閾値の改定が必要かどうかを判断するための情報を提供する。審査に用いる方法はCTBが決定し、更新できる。
  2. 評価は、CTBの施設または監視下にあるCCCにおいて、CTB職員が実施する。本合意の締約国の担当者には、どの試験が実施されるかを知らせることができ、CTBは試験結果の概要を提供できる。締約国は、モデルの所有者がアクセスを認めた場合を除き、自ら学習を行っていないAIモデルへのアクセスを得ない。CTBは、機微情報の安全を確保するための措置をとる。
  3. 高度なAIによる人類絶滅の可能性を低減するために必要となりうると事務局長が判断した場合、CTBは締約国または一般の人々と詳細な情報を共有できる。
第XIII条の先例

監督下での試験の先例は、第VII条で取り上げたチップ使用の検証に関する先例と共通しており、特にSTART Iのミサイルのテレメトリー情報を共有する手順が参考になります。本案の第XIII条で加えているのは、収集したデータを、閾値の調整を勧告する際の判断材料として用いることです。この調整には、第XIV条で取り上げる、先例のある仕組みを使うことができます。

一般への情報開示(第3項)と、本案の第X条にある情報を集約する規定との間には、本質的な緊張関係があります。この点では、IAEA憲章第VII条の秘密保持規定24があっても、IAEAは関連分野の主要な動向と、それが世界の安全に及ぼす影響について、詳細な報告書を定期的に公表できていることを指摘しておきます。

第XIII条の解説

第XIII条の目的は、AI分野が進歩している場合に、CTBがその最新状況を把握し続けられるようにすることです。たとえば、申告された学習を審査すれば、学習に使うFLOPの量に応じて、AIがどの程度の能力に達しうるかを把握できます。アルゴリズム研究を禁止しても、実効的に止められない進歩はありうるため、CTBはそれを追跡しなければなりません。

さらに、CTBには、能力を引き出す手法の進歩を監視する理由もあります。たとえば、既存のAIの性能を、何らかの重要な評価指標において大幅に向上させる、新たなプロンプティング手法が見つかる可能性があります。

私たちは、特定の分野でAIの能力が危険なほど高まっていないかを確認する能力評価も、CTBの審査に含めることを想定しています。また、学習データを調べて、AI研究の自動化など、特に危険な課題のためにAIが学習されていないかを確認したり、予期しないAIの挙動を試験したりすることも考えられます。

審査によってAI開発の状況の変化が明らかになった場合、第IV条および第V条に関係する閾値や、第VIII条の制限対象研究の定義を変更する必要が生じるかもしれません。こうした変更は、第III条の仕組みに従って実施します。

第XIV条――改定手続き

  1. 執行理事会は、本合意の目的の達成を確保するため、必要に応じて本合意を改定できる。本合意の本文および各条の改定を「改正」とする。第III条に基づき、CTBは、執行理事会の拒否権に服することを条件として、第IV条、第V条、第VI条、第VII条、第VIII条、第IX条、および第X条に関係するものなど、個別の定義および実施方法を変更できる。これらの条の目的または統治構造の根本的な改定には、執行理事会による改正を必要とする。
  2. 執行理事会は、本合意のすべての締約国に改正を提案できる。執行理事会は、改正案を、その理由および予想される効果の説明とともに、すべての締約国に送付しなければならない。
  3. 本合意の締約国は、事務局長を通じて、改正に関する提言を執行理事会に提出できる。執行理事会は、そのような提言を検討するが、採用する義務は負わない。
  4. 執行理事会が提案した改正は、執行理事会のコンセンサスが得られた時点で効力を生じる。
  5. 執行理事会は、本合意の発効から3年後に、前文の目的および本合意の規定が実現されていることを確保するため、本合意の運用を評価する再検討会議を招集しなければならない。本合意のすべての締約国を参加に招請しなければならない。その後、執行理事会は、同じ目的で3年ごとに再検討会議を招集する。
第XIV条の先例

本合意は、閾値を緩めたり規定を弱めたりする変更に執行理事会構成国のコンセンサスを必要とするため、そのような変更を求める短期的な圧力に耐えられます。

改正が難しい、したがって弱体化も難しい条約は、必要に応じて強化するために別の仕組みを用います。NPTは一度も改正されていませんが、第VIII条が定める5年ごとの再検討会議を通じて状況に適応してきました。この会議では、「前文の目的および条約の規定が実現されていることを確保するため」、コンセンサスによる合意が形成されます。

同様に、1975年の生物兵器禁止条約は、正式な改正がまれなため、第XII条に基づく5年ごとの再検討会議で、拘束力のない信頼醸成措置を通じて条約を強化しています。本合意では、AIが急速な変化の起こりやすい分野であることから、会議を3年ごとに開催すると定めています。この間隔は、さらに短縮する必要があるかもしれません。

化学兵器禁止条約の第XV条は、改正と、事務的または技術的な変更とを区別し、後者にはより緩やかな承認要件を設けています。本合意案にも同様の文言を加えることで、AI分野の今後の展開に対応するための柔軟性をある程度確保できるかもしれません。

宇宙条約の第XV条には改正条項がありますが、条約は正式には一度も改正されていません。代わりに、宇宙に関して生じる新たな問題に対処するため、新しい条約が交渉されてきました。これも、AIに関する合意で後に明らかになる弱点を補う選択肢となりえます。

第XIV条の解説

第XIV条は、合意に大きな改定を加える手続きを定めています。このような改定には締約国から相当の支持を得る必要があり、実施のハードルは高くなっています。一方、各種の分類や制限の細部は、第III条で説明したように、時間をかけた審査に服するものの、より容易かつ迅速に変更できます。AI分野の変化の速さは、そのような対応を必要とします。状況の重大さに加え、熱心すぎる主体を抑制しなければ、ほとんど、あるいはまったく利益をもたらさずに人々を不便にする的外れな制限を課すおそれがあるため、慎重な審査手続きが必要だと考えられます。

第XV条――脱退および有効期間

  1. 本合意の有効期間は無期限とする。

  2. 各締約国は、国家主権の行使として、本合意の対象事項に関連する異常な事態が自国の至高の利益を危うくしていると判断した場合、本合意から脱退する権利を有する。脱退する締約国は、その12か月前にCTBに通告しなければならない。

  3. この12か月の間、脱退国は、脱退後に、ASIまたは本合意の閾値を超えるシステムを含む危険なAIシステムの開発、学習、事後学習、または配備を行えなくなることを認証するための、CTBおよび執行理事会構成国の取り組みに協力しなければならない。脱退国は、そのような協力が、CTBおよび締約国による第XII条の適用を避ける助けになることを認める。

    • (a) 特に、脱退国は、CTBおよび執行理事会構成国の監督下で、すべての対象チップクラスターおよびASIを可能にする資産(先端コンピューターチップの製造装置など)を自国領域から搬出して執行理事会が承認した管理下に移すか、または(第V条に定めるとおり)永久に作動不能にする。
  4. 本条のいかなる規定も、第XII条の適用を制限しない。脱退した国(したがって非締約国となった国)は、ASIの開発または配備を目指す活動を示す信頼できる証拠がある場合、引き続き防護措置の対象となる。

第XV条の先例

条約に失効日を設けないことは一般的です。化学兵器禁止条約の第XVI条第1項は、「この条約の有効期間は無期限とする」と定めています。

有効期間が無期限の合意も、必ずしも永遠に続くわけではありません。25 ただし、通常は脱退の仕組みを備えています。多くの場合、事前通告の期間やその他の条件を定め、残る締約国にとって懸念の少ない形で脱退できるようにしています。化学兵器禁止条約の第XVI条は、「この条約の対象事項に関連する異常な事態が自国の至高の利益を危うくしていると判断した場合」に、締約国が脱退することを認めています。脱退する国は90日前に通告しなければなりません。宇宙条約の第XVI条では、脱退の1年前の通告を求めています。

本合意は、脱退する国に12か月前の通告を求め、第3項の、他国に安心を与える措置の実施を支援するために十分な時間を確保しています。これらの措置は、脱退規定の歴史的な先例として容易に見つかるものより踏み込んだ内容ですが、私たちの意図は、脱退する締約国に対する防護措置の必要性を減らすことにあります。締約国であれ非締約国であれ、ASIを創り出すことも、その創出を阻止する世界の能力を弱めることも認められないからです。

脱退した国がなお防護措置の対象となる歴史的先例としては、国連安全保障理事会決議1718があります。この決議は、北朝鮮がすでにNPTから脱退していたにもかかわらず、2006年の核実験を受けて同国に制裁を科しました。

第XV条の解説

ASIの研究開発の危険性に加え、ある国が合意から脱退して超知能の実現を急げば、他国が追随するおそれもあるため、本合意には脱退を難しくする措置が必要です。

実際には、これは困難です。たとえば北朝鮮は、国連安全保障理事会の決議やそれに伴う制裁という代償を払ってでも核拡散活動を続けるため、NPTから脱退しました。こうした不利益は、北朝鮮に核拡散活動をやめさせるには不十分でした。

本案の文言は、合意から脱退しようとする国について、すべての締約国は、その国がAIインフラに対する権利を放棄するものとみなすこと、また、危険なAI活動を行えば第XII条の防護措置の対象となることを明確にしています。たとえば防護措置を避けるためなど、ASI問題に関するそれ以外の交渉は、利害関係のある当事国が別途行わなければなりません。

脱退を懸念する締約国は、脱退をさらに難しくする仕組みを盛り込むこともできます。たとえば、米中双方の当局者が、対象チップクラスター内に相互のキルスイッチを設置し、どちらからでも相手国のクラスターを永久に停止できるようにすることに合意するかもしれません。別の案は、すべての新しいAIチップについて、継続稼働に複数の締約国の承認を必要とするハードウェアロックを組み込んで製造する、多国間のライセンス制度を採用することです。そうすれば、ある国が合意から脱退した場合、他国がその国のライセンス承認を停止して、チップを使用不能にできます。また、重要なAIインフラを第三国に移し、締約国が脱退した場合にはそこで没収または破壊できるようにする選択肢もあります。本案は最小限の抑止方法にとどめていますが、ほかにも多くの方法が利用できますし、多少の技術投資をすれば利用可能になる方法もあります。


脚注

  1. 核兵器に関する合意がこれに当たります。IAEA(1956年、国連本部で開催された国際原子力機関憲章会議による)、NPT(1970年、国連の18か国軍縮委員会における交渉を通じて)、そしてSTART条約のような軍備管理合意(1991年、米国とソ連の9年間にわたる断続的な交渉を経て)は、それぞれ別の条約によって成立しました。 ↩
  2. NPTは、核保有国の数を、それがなかった場合より少なく抑えてきたと一般に評価されています。しかし、非署名国(インド、パキスタン、イスラエル)や、かつての署名国(北朝鮮)による核兵器の取得は、それでも起きています。いずれかの非署名国がたとえ一つでもASIを創り出すことは、大規模な熱核兵器の応酬に匹敵する危険を伴うため、それに応じた扱いが必要です。 ↩
  3. 「過度に傷害を与え又は無差別に効果を及ぼすことがあると認められる通常兵器の使用の禁止又は制限に関する条約」は、一般にCCWと呼ばれ、1983年に発効しました。2024年時点で128の締約国が、さまざまな種類の兵器を制限することで、戦闘員と非戦闘員を不必要かつ甚だしい苦痛から守ることを約束しています。 ↩
  4. 米国とソ連は、1963年の「大気圏内、宇宙空間及び水中における核兵器実験を禁止する条約」により、他の種類の核兵器実験を停止することですでに合意していました。この条約は、一般に部分的核実験禁止条約(LTBT)または核実験禁止条約と呼ばれます。 ↩
  5. 大英帝国、フランス、イタリア、日本およびアメリカ合衆国間の海軍軍備制限に関する条約(ワシントン海軍軍縮条約)は、廃棄すべき艦船を、表の中に艦名を挙げて列記しています(第II節)。 ↩
  6. 戦略兵器削減条約は1991年に署名され、1994年に発効しました。各署名国は、合計1,600基・機の大陸間弾道ミサイルおよび爆撃機に、6,000発を超える核弾頭を配備することを禁じられました。 ↩
  7. 戦略兵器制限交渉(SALT)は、1969年に米国とソ連の間で始まり、1972年に署名されたSALT I条約を生みました。同条約は、戦略弾道ミサイル発射装置の数を凍結し、新たな潜水艦発射弾道ミサイルの追加を規制するなどの制限を設けました。 ↩
  8. 1972年の弾道弾迎撃ミサイル制限条約(ABM)は、当初のSALT交渉から生まれ、各締約国の弾道弾迎撃システムをそれぞれ2か所(後に1か所)に制限するとともに、その兵装および追跡能力にも制約を設けました。 ↩
  9. 1987年の中距離核戦力全廃条約(INF)により、米国とソ連は、戦場用システムと大陸間システムの中間の射程を持つ核兵器運搬システムの大部分を禁止することに合意しました。(これらのシステムによる攻撃は警戒のための時間が短いため、防衛用の戦力というより、安定を損なう攻撃用システムとみなされていました。) ↩
  10. 食品安全検査局(FSIS)は、1977年に設立された米国農務省の機関です。 ↩
  11. チップ使用の検証措置でもう一つ重要なのは、セキュリティとプライバシーです。締約国は、CTBが検証に必要な情報だけにアクセスし、チップ上の機微データ(軍事機密や機微なユーザーデータなど)にはアクセスしないことを確保したいと考えるでしょう。そのため、検証方法の安全性を確保し、可能な場合には対象範囲を限定する必要があります。 ↩
  12. 1946年原子力法は、後に1954年原子力法によって拡充されました。その目的は民生用原子力産業を認めることであり、そのためには一部の制限情報(Restricted Data)を民間企業と共有できるようにする必要がありました。 ↩
  13. 1979年の合衆国対プログレッシブ事件では、ある新聞が水素爆弾の「秘密」を明らかにしようとしました。政府が争点はすでに消滅したとして訴えを取り下げていなければ、「生まれながらに秘密」(born secret)という原則が、言論を保護する合衆国憲法修正第1条に違反するかどうかについて、連邦最高裁判所が判断する機会になったかもしれません。 ↩
  14. 米国商務省の一部門です。 ↩
  15. 数十年の間に、暗号技術関連の特許に対して、このような命令が数百件出されています。 ↩
  16. 国際科学技術センターは、1991年のナン=ルーガー協調的脅威削減計画から生まれました。これは、旧ソ連諸国の大量破壊兵器と関連インフラを確保し、解体するための米国の取り組みです。 ↩
  17. 本合意の締約国は、1998年の国際刑事裁判所ローマ規程で法典化された人道に対する罪の概念を、地球上の人々を犠牲にして研究者が意図的にASIを開発しようとする場合にも広げることを検討してもよいかもしれません。 ↩
  18. 国家安全保障システム委員会(CNSS)は、政府の情報システムのセキュリティ方針を定める、米国の政府機関横断組織です。 ↩
  19. 2025年6月時点で144か国です。 ↩
  20. OpenAIのGPT-5発表には470人の貢献者が記載されています。GoogleのGemini 1.5技術報告書には1135人の貢献者が、Llama 3論文には559人の著者が、DeepSeek-V3論文には199人の著者が、Qwen3論文には合計177人の貢献者が、Kimi k2論文には168人の著者が記載されています。これらを合計すると2,708人です。私たちの知る限り、AnthropicやxAIなど、ほかのフロンティアAI企業は、技術面の貢献者数に関する十分な詳細を公表していません。十分なAI人材を擁する企業はほかにもある可能性があるため、大手AI企業の研究者の総数は、保守的に見積もって5,000人程度と推定しています。 ↩
  21. AmazonのAGI研究所を率いるDavid Luanは、2025年のインタビューで、フロンティアモデルを開発するために「巨額の費用がかかる計算資源」を任せてもよいと自分が信頼できる人の数を、「150人未満」と見積もりました。 ↩
  22. TSMCの従業員数は2025年に84,000人、Intelの従業員数は2023年に125,000人、Samsungの従業員数は2024年に263,000人、SMICの従業員数は2023年に20,000人、NVIDIAの従業員数は2025年に36,000人、AMDの従業員数は2023年に26,000人、Huaweiの従業員数は2024年に208,000人です。GoogleのTPU部門は不明です。ASMLの従業員数は2024年に44,000人、SK Hynixの従業員数は2024年に47,000人、Micronの従業員数は2023年に43,000人です。これらの合計は896,000人です。したがって、AIとの関わりが特に深いハードウェア企業の従業員総数は、おそらく100万人前後です。ただし、中核的な技術者はそのごく一部と考えられ、不可欠な研究者は数千人にとどまる可能性があります。 ↩
  23. AIモデルやデータセットを共有する人気のプラットフォームであるHuggingFaceのユーザー数は、2025年4月に800万人でした。Andrew Ngの機械学習講座を受講した学生は約480万人です。GitHubを使う開発者の数は、AI以外も含めると、2023年に約1億人でした。世界全体の職業としてソフトウェアを開発する人の数は、2025年に4,700万人と推定されています。 ↩
  24. 第VII条Fは、「〔…〕機関に対する責任に従うことを条件として、〔事務局長および職員は〕機関における職務により知り得た産業上の秘密その他の機密情報を開示してはならない」と定めています。 ↩
  25. 別の条約によって置き換えられる場合があります。1947年の関税及び貿易に関する一般協定(GATT)がその例です。GATTは1994年のマラケシュ協定に置き換えられました。同協定はGATTの規則を取り込みつつ、GATTの組織構造に代わるものとして世界貿易機関(WTO)を設立しました。有効期間が無期限の条約も、締約国の脱退によって実効性を失い、終了する場合があります。たとえば、米国とソ連は当初、1987年の中距離核戦力全廃条約(INF条約)の有効期間を無期限とすることで合意しましたが、米国はロシアの不遵守を理由に2019年に脱退し、その後ロシアも2025年に、もはや条約を遵守しないと発表しました。 ↩

原文 (English) を読む