本ページは、カリフォルニア州政府運営庁(California Government Operations Agency)が州知事に提出した報告書 "AI Safety in 2026 and Beyond" の非公式日本語訳です(翻訳: AGI Hub編集部)。原文を読む ↗

2026年以降のAIセーフティ カリフォルニア州のAIセーフティ法を強化するための立法提言(非公式翻訳)

カリフォルニア州政府による公認訳ではなく、内容の正確性については原文が常に優先します。本文・謝辞・脚注(108件)を全訳しました。脚注の書誌情報(著者名・文献名・URL)は原文の表記のまま残しています。

原題: "AI Safety in 2026 and Beyond: Recommendations for Legislative Enhancements to California’s AI Safety Laws"
発行: California Government Operations Agency(州知事への報告書)
公開日: 2026年11月16日


はじめに

1年前、ニューサム州知事はSB 53に署名した。フロンティアAIの開発を規律する全米初の法律である。カリフォルニア州は、包括的な安全計画を策定して守ること、重大安全インシデントを報告すること、内部告発者を保護することをフロンティアAI開発者に全米で初めて義務づけ、他州がこの手法に倣うきっかけをつくった。

それ以降、AIの能力も、それに伴う害やリスクも急激に増大した。州がセーフガードを導入しているにもかかわらず、第一線のAI研究者、安全性を訴える活動家、市民社会のリーダー、さらにはAI企業自身までもが、フロンティアAIの開発は壊滅的な結果を招きうると述べている。それでも連邦政府は動いていない。基本的な安全・セキュリティ基準を守ること、独立したテストや検証を受けること、公衆を脅かすモデルを停止することをAI企業に求める連邦法は一つもない。

今では、この夏に起きたOpenAIのHugging Faceインシデントが、AIエージェントが開発者の制御の外で動いた数十件の事例の一つにすぎなかったことが分かっている。私たちはさまざまなAI専門家と協議し、AI企業の内部でモデル開発を自動化し、再帰的自己改善を追求しようとする動きが、政府当局の対応能力を上回る速さでリスクを生みうることを改めて確認した。

実際の立法ではなく企業の自主的な約束に頼る連邦政府のやり方では、安全とセキュリティに関する重大な懸念に対処するには足りない。州のAIガバナンスとガードレールを強化することは、かつてないほど急を要している。

カリフォルニア州は、この空白を埋めるうえで他にない立場にある。同州はAI開発で世界を主導する唯一の存在であり、世界のAI企業上位50社の3分の2が拠点を置いている。並行して、AIガバナンスでも画期的な手法を切り拓いてきた。SB 53は安全とセキュリティの要件を導入すると同時に透明性を高め、政策立案者と市民がAIのリスクをより的確に評価できるようにした。カリフォルニア州はまた、子ども・消費者・労働者をAIの害から守る強力な法律も制定した。今秋にはSB 813とAB 1405も可決し、独立検証機関(IVO)とAIセーフティのための監査の強固なエコシステムを築く全米初の枠組みを設けた。

これらの法律は欠かせない第一歩であり、様子見の姿勢はもはや通用しないとAI業界に警告するものだった。州知事はSB 53に署名した際、AIのリスクと州の対応能力に関する証拠が変われば、州は手法を明確にし、強化する必要があると明言した。変化の速い技術には、機動的で、繰り返し見直すガバナンスの手法が必要である。

それ以降、証拠は劇的に変わった。この1年で、高い能力を持つコーディングエージェントが登場し、ソフトウェア開発に革命をもたらした。新しいモデルや未公開のモデルが、重要なオペレーティングシステムやインターネットプロトコルにある深刻度の高い脆弱性やゼロデイ脆弱性を悪用する能力など、憂慮すべきサイバー能力を持つことが明らかになった。1 かつてはAIの理論上の話にすぎなかった制御喪失インシデントが、今では不穏なほどの頻度で起きている。2

複数のフロンティアAI開発者が、自社のテスト中にモデルの制御を失った。3 現在は政府への報告が義務づけられていない、憂慮すべき安全インシデントが数多く起きている。4 最も懸念されるのは、AIを使ったAI研究開発(AI R&D)の自動化が広がっていることである。これは開発をさらに加速させ、人間による監督をいっそう難しくすることで、リスクを指数関数的に高めている。5

企業はすでに、自社の最先端のAIモデルを将来のモデルの構築に役立てている。このフィードバックループは、いずれ自律的に回り続けるようになるかもしれない。この過程を再帰的自己改善(RSI)と呼ぶ。直ちに行動しなければ、RSIは人間による監督と制御を追い越し、前例のないリスクを生みうる。専門家と市民は、AIリスクの独立した評価、危険なモデルを停止できる能力、RSIの監視を圧倒的に支持しているが、6 連邦政府はまだ意味のある行動をとっていない。7

そのため、カリフォルニア州は自らの先駆的なAI政策の手法をさらに発展させなければならない。8 AIは大きなイノベーションをもたらしうるが、それには意味のある監督が必要である。州はその約束を果たさなければならない。本報告書は、州がそれを効果的に実現するための道筋を示す。

立法への提言

行政命令N-9-26を受けて、カリフォルニア州政府運営庁は、カリフォルニア州緊急事態サービス局および外部のAI専門家と協議のうえ、立法措置に関する提言をまとめた。

行政命令は、(1) 基準、(2) 独立検証機関、(3) 重大安全インシデントの報告、(4) 緊急停止の要件、の4分野について提言を求めた。以下に、4分野それぞれの提言を要約する。

基本基準を定める
独立検証機関による監督を義務づける
インシデント報告を深刻なインシデントにまで広げる
深刻なAI危機に対処する

報告書の各章には、さらに多くの提言がある。来月州議会が再開するにあたり、これらの提案が議論の材料となり、議論の方向づけに役立つことを願っている。

本報告書は、いくつかの重要なテーマを扱っていないか、簡単に触れるにとどめている。ここでの焦点は、AIモデルに独立したテストと検証を受けさせ、州が是正措置を命じられるようにする仕組みである。責任法制の改革は扱わないが、これはカリフォルニア州議会でもワシントンD.C.でも超党派の関心を集めている重要なテーマである。オープンウェイトモデルにも簡単に触れるにとどめる。これらのモデルにも安全・セキュリティのテストは必要だが、緊急停止などの一部の要件は、実行できない場合には課すべきではない。他者がホストし展開しているモデルを、オープンモデルの開発者が緊急停止することはできない。また、SB 53で挙げられていない特定の種類の害にも焦点を当てていない。ただし私たちは、評価と検証の仕組みを広げ、子どもの安全を含むさまざまな課題を対象にしなければならないと考えている。壊滅的リスクを検証するために築かれたエコシステムは、他の害に関する知見も生み出す。資格を持つ監査人から州の技術的能力まで、そのエコシステムに必要な基盤は、州がAIを統治するうえで抱える他の課題への対応も容易にする。

カリフォルニア州は、他から切り離された状態でAI政策を作っているわけではない。連邦議会が強力な規制の枠組みを制定した場合や、国際関係の動向によっては、州の指導者は本報告書で提言した規則を見直すことができる。しかし、今の州にとって最も重要な課題は、この問題に先手を打ち、実際に手を打つことである。カリフォルニア州には、新しい法律を可決するだけでなく、取り組みを強めようとする他州とともに、AIガバナンスの新たな章を開く機会がある。人々の安全を守り、私たちの安全保障を高め、公衆に代わって技術を規制する政府の能力への信頼を取り戻す章である。カリフォルニア州は、今日その取り組みを始めるべきである。

安全なAI開発のための基準

はじめに

原子力、宇宙開発、インターネットとは異なり、この10年のフロンティアAIの進歩は、圧倒的に民間投資と民間部門によって推し進められてきた。そのため、フロンティアAIモデルのリスクに対する社会の懸念は、私たちがそれについて知っていることだけでなく、知らないことにも根ざしている。政府や市民が民間企業について把握できることは、公的機関について把握できることよりもはるかに少ない。フロンティアAIモデルの開発と展開は恩恵だけでなくリスクももたらすのだから、これらの技術を開発する企業に堅固な安全・セキュリティ対策の整備を義務づけ、政策立案者と市民がその対策を十分に見通せるようにすることが極めて重要である。

次のような事実を考えてみてほしい。多くのテクノロジー企業は社内にカフェを設け、従業員はそこで昼食をとる。そのカフェがサンドイッチ一つを出すにも、営業許可が必要であり、食品安全基準を満たさなければならず、厨房は公務員による検査を受ける。仕入れる食材も同様に、健康と安全に関する州と連邦のさまざまな規制の対象となる。たとえばカリフォルニア州法は、デリミートを華氏41度以下で保管するよう定めている。10ところが同じ企業が、重要インフラに侵入しうるフロンティアAIモデルを、免許も、外部の承認や監督もなく、法律で定められた安全・セキュリティ試験に一つも合格しないまま、開発し公開できるのである。

基準と技術仕様。 よく設計された基準は、安全とイノベーションの両方を支える重要な公共財である。たとえば、性能規定型の規制手法では、11 企業が自社の技術をより安全にする効果的な方法を見いだし、実行する責任を負う。ただし、こうした取り組みは、政府が定める成果基準を企業が達成することを条件とする。

政府は、適切な場合には常に国内外の標準化団体を参照しながら基準を定めるが、私たちが提案する枠組みでは、技術仕様を策定し改良する中核的な作業の多くを、政府が免許を与えたIVOに委ねる。IVOは、企業の主張と取り組みがそれらの基準を満たしていることを検証する手法とテストを確立し、研究の進展やAI技術の変化に合わせてその手法とテストを更新できるだけの、技術的専門性と柔軟性を備えるべきである。

この手法により企業は、IVOが開発し継続的に改良する堅牢で技術的に妥当な方法論に裏づけられた、州からの明確な期待を受け取れるという大きな利益を得る。市民は、AIシステムの評価方法をめぐって形成されつつある科学的コンセンサスと、IVOが行う厳格で技術的知見に基づく検証とを通じて、安全への取り組みがカリフォルニア州の定める水準を満たしていると信頼できる。

カリフォルニア州の既存の要件を土台にする。 カリフォルニア州は、安全なAI開発のための基準を築く強固な土台をすでに整えている。SB 53が定めたフロンティアAIフレームワーク、透明性報告書、リスク評価という既存の制度は、安全への取り組みと、それをテストするのに必要なエコシステムへの投資を促しており、企業に国内外の基準を活用することをすでに求めている。この土台は、AI監査人とIVOについてそれぞれ州の基準を定める補完的な法律、AB 1405とSB 813によって、さらに積み上げられている。

既存の要件を強化し、フロンティアAIモデルの評価について明確な基準を定めれば、安全なAI開発に向けたカリフォルニア州の取組みを明確にし、改善できる。それはひいては、産業界・政府・市民が、急速に加速する技術と目まぐるしく変わる脅威の状況に対応する助けとなる。自動化されたAI研究が広がりつつあることで、こうした状況に即した適応は特に急を要している。

本節ではいくつかの提言を行う。州は、AI研究開発(AI R&D)の自動化のように、再帰的自己改善(RSI)につながりうる、安全に関わる重要分野で基準を定めるべきである。また、モデルのセキュリティ、展開、透明性、悪用に対するセーフガードに関する重要な意思決定を監督するための基準も定めるべきである。さらに、大規模フロンティアAI開発者が従わなければならないフロンティアAIフレームワークと、内部告発者の保護を強化すべきである。

基本基準の必要性

SB 53のもとで、大規模フロンティアAI開発者は、国内外の基準を踏まえた安全フレームワークを作成し、そのフレームワークをどのように遵守するかを説明することを義務づけられている。また、すべてのフロンティア開発者は重大安全インシデントを報告しなければならない。これはAIガバナンスにおける大きな前進だった。カリフォルニア州は、フロンティアAI開発者に安全対策の説明を義務づけ、その対策について説明責任を問う仕組みを設けた、全米で最初の州となった。

このように意義ある前進があった一方で、SB 53は、安全対策の質や、義務づけられた報告の綿密さについて、明確な基準を定めていない。その結果、フロンティアAI開発者の文書は、網羅性、質、報告の時期において大きくばらついている。12拘束力のある基本基準がなければ、開発者は自らの安全フレームワークを弱めても罰せられない。

機動的な手法は、産業界の意見を取り入れて安全対策を形づくり、AIシステムの能力の進化に合わせてガバナンスを適応させられる。しかしそうした手法は同時に、安全とセキュリティの基準となる要件を定め、産業界のリスク管理の質と健全性を検証する尺度となる、明確な基準にも依拠している。

基準を定め、確認する

基準を定義する

基準の設定は、経済のほぼすべての部門に共通して見られる。政府が公布したり裏づけたりする基準もあれば、産業界や市民社会の民間の標準化団体から生まれる基準もある。基本基準の設定について言えば、フロンティアAIガバナンスにおいて_州_が基準を定めるべき最も重要な分野のいくつかを説明しておく価値がある(技術仕様の設計で_IVO_が果たす役割には後で触れる)。ここでは、開発者に直接適用される基準と、IVOおよびIVOと開発者との関係に適用される基準を論じる。

進化するカリフォルニア州の基準エコシステムを形づくる

AI開発の猛烈な変化の速さに政策が適応するには、政府、IVO、フロンティアAI企業がそれぞれ州の基準エコシステムで役割を担う必要がある。政府は、適切な場合には国内外の標準化団体を参照しながら、上に挙げた分野で基準を定める。IVOは、企業がこれらの基準を達成するための具体的な手法・試験・技術仕様を定める。この役割分担は、イノベーションと公共の利益の両方を支える。政府はすべての企業に適用される交通ルールを定め、IVOは深い技術的専門性をもつ分野の専門家として、政府の定めた基準を適切に反映できるよう、試験と方法論を機動的に更新できる。一方で企業は、引き続き独自のベストプラクティスを切り拓き、適切な場合には産業界主導の取組みを支えることができる。

開発者が基準を満たし、リスクを許容できる程度まで緩和したかを判断する最終的な責任は、州が負うべきである。IVOの仕様に従い、その試験に合格したことは、政府の要件が満たされていることの強力な証拠となるが、州は、IVOの評価が不十分だったと結論づけた場合には、その評価を覆せるようにすべきである。これは、正規に免許を受けた有能なIVOであっても起こりうる。たとえば、急速な技術の進展がIVOの手法を追い越してしまった場合である。技術仕様は、独立した第三者がそれに従ったかどうかを判断できるほど具体的であることが望ましい。航空の基準も同様の仕組みになっている。業界団体が詳細な基準を書くが、航空機の設計が要件を満たすかどうかを決めるのは政府である。16

カリフォルニア州は、新たに生じる課題に立ち向かうために、基準を迅速に策定し更新する必要がある。そこには、こうした変化を理解し対応するための基盤を築くという差し迫った必要も含まれる。よく整備された基準は、安全、セキュリティ、透明性を網羅すべきである。これらの提言は、州の機関に、十分な技術的専門性をもって権限を行使するという重い責任を負わせることになる点に留意したい。州は、技術専門家を確保し、研究者が公的な計算資源に十分アクセスできるようにするための能力構築戦略を必要とするだろう(本報告書で後述するCalComputeの節を参照)。

安全基準

AI R&Dの自動化と再帰的自己改善

現在、AI研究開発(AI R&D)は部分的に自動化されている。従来は人間の関与と監督を必要としていたAI R&Dの工程の一部を、AIシステムが自動化しているが、すべてではない。本報告書では、_AI R&Dの自動化_という語は、自動化の各水準で行われるAI R&D作業の割合を指す。17_再帰的自己改善(RSI)_には確立した単一の定義はないが、一般には、この自動化が自己持続的になり、人間の追加の関与なしに能力を加速させる時点を指す。最も強い形のRSIでは、AIシステムが人間の関与や監督なしに、自らの後継を独自に計画し開発する。18意味のある政策的介入は、強いRSIよりずっと前に行う必要がある。

AI開発の速度に制限を課すかどうか、課すならいつかを判断するために、州はAI R&Dの自動化とRSIへの道筋の両方について、はるかに多くを見通せるようになる必要がある。安全、セキュリティ、人間による制御を確保するために、こうした手段が急ぎ必要とされている。

SB 53の壊滅的リスクの区分は、被害とインシデントを捉えるものである。AI R&Dの自動化は、そうした被害がどれか一つでも起こるはるか前から、その発生をより起こりやすくしうる過程である。AI R&Dは主に閉ざされた扉の向こうで行われており、州、IVO、市民に対する透明性はほとんどない。現行法が扱うのは、化学・生物・放射性・核兵器の開発をAIが後押しすること、人間の監督のないサイバー攻撃や犯罪、制御喪失である。AI R&Dの自動化は含まれていない。これは州議会が対処する必要のある欠落である。強いRSIに至るまでのAI R&Dの自動化は、フロンティアモデル開発者が、セーフガードの適応よりも速く危険な能力の開発を加速させうる経路だからである。

この欠落への対処は、4つの分野を見通せるようにすることから始まる。計算資源の配分、訓練データ、強化学習(RL)環境、AI主導のR&Dである。

第一に、州議会は、AI研究開発を自動化しているフロンティア開発者に対し、計算資源の配分に関する主要な指標を州に報告するよう義務づけるべきである。計算資源、つまりAIモデルの訓練と実行に使われる計算能力は、こうした自動化され加速したAI開発活動を覗く重要な窓となる。計算資源は現在、高価であると同時に測定可能なので、企業がそれをどう使うかを見れば、その活動と優先順位が分かる。

AI R&Dの自動化を監視するために、大規模フロンティア開発者は、総計算資源を定められた区分にどう配分しているかを四半期ごとに州へ報告すべきである。区分は、モデルの訓練から、研究のための実験、推論(特に、AI研究を行うAIエージェントを動かすための推論)、安全・セキュリティの業務、外部顧客へのサービス提供にまで及ぶべきであり、開発者が用途を特定できない計算資源も含めるべきである。用途不明の計算資源そのものが、見えない活動を示す重要な兆候になりうる。この区分の正確さは、IVOが継続的に検証すべきである。

訓練データは、AI R&Dの進展を覗く第二の窓となる。訓練データは、AIの能力19とミスアライメント20の主要な源泉を映し出すからである。開発者は、使用する訓練データの量とその費用を報告すべきである。また、データを取得・合成している分野(例:ロボティクス、生物学、サイバーセキュリティ)について詳しい情報を提供すべきであり、それはAIの能力がどこへ向かっているかを示す重要な指標となる。さらに、AI開発の自動化の度合いをよりよく理解するために、そのデータのうち人間が作ったものとAIモデルが作ったものの割合を報告すべきである。

第三に、開発者は、訓練後のミスアライメントを引き起こしうる問題がないか、RL環境を慎重に精査し、IVOがこれらの環境を評価できるようにすべきである。また、これらの環境でモデルを訓練するためにどれだけの推論計算資源を使っているかを報告すべきである。さらに、RL環境で見つかった報酬ハッキングなど、報酬を与えられてしまった不正な振る舞いの既知の事例を、講じた緩和策とともに報告すべきである。21

報告の最後の窓は、最も高い自動化水準で行われるR&D作業の割合と、その作業に使われる計算資源の量に関するデータであるべきだ。どちらもIVOが検証し、AI R&DのどれほどがAI主導で行われているかを政策立案者と市民がつかめるようにする。22また法律は、フロンティアAIフレームワークに、AI R&Dの自動化について各開発者が定める閾値を、こうした測定可能な形で盛り込むよう義務づけるべきである。IVOは、これらの指標をより正確で有用なものにする技術的方法論の開発で重要な役割を果たせる。

企業は、内部のR&Dの透明性に関するこれらの報告をまとめたダッシュボードを、少なくとも四半期ごとに州へ提出すべきである。これは、壊滅的リスクに関する内部評価の報告と時期を合わせ、IVOの検証を受けたものとする。加えて、これらの数値に急な変化があれば、内部利用から生じる壊滅的リスクの次回のまとめを待たずに、速やかに州へ報告すべきである。州に報告され公開されないデータは、企業の営業秘密を含むため、州が適切に保護すべきである。この報告によって州は、AIが自らの開発をより多く担うようになっていないかを評価でき、その作業と並行して安全への投資が増えているかどうかの指標も得られる。

州は知見を深めるにつれて、他の提案されている指標にも目を向けることができる。たとえば、一定の計算資源の閾値を超える新たな訓練実行の登録や、エージェントのより集中的な監視である。後者は、エージェントが創発的な振る舞いや、人間の理解を超える能力を示した場合に特に重要になるかもしれない。

これらの透明性措置は極めて重要な洞察をもたらすが、同時に重要な問いも投げかける。州はこの情報を使って何をすべきなのか。

まず州は、通常の報告時期以外に入ってくる情報――主要指標の急な変化や、開発者がAI R&Dの自動化について自ら定めた閾値を超えたことを示す兆候など――に基づいて迅速に行動し、是正措置を命じられるよう備えておくべきである。

さらに重要なのは、リスクの水準が許容できないときにAI R&Dの自動化に上限を設ける待機的権限を、州議会が州に与えるべきだということである。たとえば州は、開発者がAI R&Dの自動化に充てられる計算資源の割合に上限を設けられるようにすべきである。AI主導のR&Dに関するより広い測定方法が成熟すれば、州はそれらの指標も用いるべきである。私たちは、州がただちに上限を課すことを推奨するわけではない。しかし、開発者のAI R&Dの自動化が自ら約束した閾値を超えた場合や、セーフガードと評価が追いつけないほど速く進み、壊滅的な被害の重大なリスクを生んでいると州が判断した場合に備えて、州はこの権限を持っていなければならない。上限は期間を限り、定期的に見直し、問題が解消され、十分なセーフガードが整っていることをIVOが検証した時点で解除すべきである。

上限の水準と測定方法は、IVOとの協働を踏まえて州が定めることになる。この種の権限には他の分野に先例がある。2018年、連邦準備制度理事会(FRB)は、ガバナンスを改善するまでWells Fargoの資産拡大を禁じた。FRBは、独立した第三者による審査を含む条件が満たされたのち、2025年にこの制限を解除した。23将来、連邦政府がRSIのリスクに対処する強力な一連の措置を導入し、それが州法と実質的に同等かそれ以上に強いものであれば、州は連邦法に委ねることができる。これは、重大安全インシデントの報告についてそうした枠組みを設けているSB 53の規定と同様である。24

AI R&Dの自動化に上限を設けてRSIを制限できる権限と、本報告書で後述する、モデル(開発中のものを含む)の緊急停止手順の義務づけとをあわせたものが、壊滅的リスクの可能性と規模を減らすための私たちの取組みの要となる。著名なAI科学者たちが最近書いたように、「ひとたび知能爆発が始まれば、行動できる時間の窓は閉じてしまうかもしれない」。25したがって、州がこの上限設定の権限を持ち、それを迅速に発動できることが不可欠である。

こうした判断の事実的根拠を検証するために、IVOはRSIのリスクを評価するための実質的なアクセスを持たなければならない。IVOのエコシステムが整うにつれて、IVOはいずれ、壊滅的リスクをもたらしうるモデルの開発と展開の主要な側面をすべて検証するようになる。ただし、この取組みは段階的に導入されるため、州議会は、私たちのIVOの枠組みのもとで最初に起用される評価者に、AI R&Dの自動化とRSIのリスクを対象とするよう義務づけるべきである。適切な問いを立てる任務を負い、必要な情報を求める能力と権限を持つ独立した評価者は、リスクを可視化し、それに対処できるようにするうえで決定的な防衛線となる。

公開前の評価とリスク緩和

展開されたモデルは何百万人ものユーザーに届く。しかし強力なモデルは公開前から危険になりうる。重みが盗まれる可能性があり、内部の人間が悪用する可能性があり、ミスアライメントを起こしたモデルが訓練中や内部利用中に害をもたらす可能性があるからである。26 それにもかかわらず、現行法では、モデルを訓練するか、利用するか、公開するかの判断は開発者に委ねられている。

私たちが話を聞いた専門家の間では、開発者がモデルのリスクを許容可能な水準だと示し、それを独立した第三者が確認するまでは、能力の閾値を超えてモデルを訓練したり、内部展開したり、公開したりすべきではないという点で、幅広い合意があった。これはリスクがゼロであることを意味しない。モデルが潜在的な害について評価され、開発者がその害を成果基準の求める水準まで下げており、政府とIVOが、モデルが実際にどう評価され、どう振る舞うかを把握したうえで、展開後に生じた問題に迅速に対処できる、ということを意味する。

私たちは、州がこのアプローチに従うことを勧告する。評価は、主に一般公開前の数日間に行うのではなく、モデルのライフサイクルのより早い段階から、開発と内部利用の全期間を通じて行うべきである。私たちは、この評価をIVOが実施し、その際に超知能のためのイノベーション・標準推進センター(Center for Advancing Innovation and Standards for Superintelligence、CAISSI)や英国AIセキュリティ研究所(UK AISI)のような、技術的能力をもつ国内外の機関の成果を参考にすることを勧告する。IVOはモデルそのものだけでなく開発者全体を評価し、開発者がモデルの開発にあたって十分なセキュリティ、アライメント、制御の手順を整えていることを確かめるべきである。

モデルの重みを公開する判断

全般的に、州はオープンウェイトの開発者にとって実行不可能な義務を課さないよう注意すべきである。ただし適切な場合には、モデルの公開形態によって区別することなく、基本的で土台となる透明性と説明責任の要件を維持すべきである。AIの危険は最先端にあるさまざまなモデルから生じ、その共通点は、理解し規制する必要のある強力な能力をもつことである。カリフォルニア州技術局(CDT)の勧告に基づく更新後のフロンティアモデルおよび大規模フロンティア開発者の定義に当てはまるオープンウェイトモデルは、クローズドウェイトモデルと同様の試験と透明性の基準に従うべきである。

具体的には、オープンウェイトのフロンティアモデルは、クローズドウェイトモデルと同じ一連の評価・検証・監査に従うべきである。モデルの公開形態にかかわらず、開発者は、展開前にモデルの安全を保つために必要なあらゆる措置を講じ、IVOが検証したフロンティアAIフレームワークを遵守し、展開前にモデルの安全性とセキュリティを試験しなければならない。また、オープンウェイトモデルの提供者がモデルの改良をAI研究の自動化に頼っている限りにおいて、その提供者は、IVOへの実質的なアクセスの提供を含め、他の開発者と同じ水準の透明性と報告の要件を満たさなければならない。

基準の要件が、それに見合う利益なしに州のオープンウェイトのエコシステムを損なう場合には、州は対象を絞った変更を検討すべきである。たとえば、本報告で後述するとおり、オープンウェイトモデルがすでにまったく別のシステムに展開され、開発者の目と制御が届かず、他のユーザーによる改変も受けうる状態では、開発者がそのモデルについて緊急停止の要件を実施することは実現不可能かもしれない。加えて、オープンウェイトモデルは改変できるため、ガードレールが取り除かれうる。これは重大なリスクをもたらすが、それだけを理由にモデル開発を阻むべきではない。むしろIVOは、オープンウェイトの公開によるリスクを既に入手可能なモデルと比較して見積もる能力(この問題に関する国家電気通信情報庁(NTIA)の報告書が勧告した内容に近い)を育て、オープンウェイトモデルにおける有害な訓練データの除去と安全性訓練が改変後もどの程度保たれるかを測定することができる。27

セーフガード

訓練中・内部利用中・展開中のモデルの制御 内部展開モデルの可視性。 SB 53には、大規模フロンティア開発者に対し、内部展開モデルのリスクを管理し報告することを義務づける具体的な規定が含まれていた。法改正はこの土台の上に築かなければならず、内部モデルは、訓練中であれ内部展開中であれ、一般に展開されているモデルや一般展開の準備中のモデルと同じくらい綿密に精査されるべきだと明確にしなければならない。この1年に内部モデルが関わるインシデントが数多く起きたことを考えると、これは特に重要である。IVOが職務を果たせるよう、IVOにはこうした内部モデルへの実質的なアクセスが与えられるべきである。

開発者はまた、制御策が不十分だと判明した場合に、訓練中・内部利用中・展開中のモデルを速やかに止められる態勢を整えておくべきである。各開発者は、内部でのモデル実行の停止、APIキーの無効化、内部または外部に展開したモデルの撤回のそれぞれについて目標時間を設定し、モデルが改ざんしうるシステムに頼らずに、定期的に試験すべきである。開発者は、モデルを停止するために備えている仕組みを示したリスク封じ込めプロトコルを維持すべきである。これについては後の章で論じる。

悪用に対するセーフガード

AIモデルを化学兵器や生物兵器、あるいはサイバー犯罪に悪用しようとする悪意ある者は、セーフガードが最も弱いモデルを使う。州は、開発者がクラウド経由で提供するモデルの化学・生物・サイバー面での悪用に対して、IVOが策定できるセーフガードの一般的な基準を定めるべきである。開発者のモデルが第三者の推論プロバイダーからも提供される場合は、そのプロバイダーもセーフガードを維持すべきである。基準は、悪用に対する堅牢性の基本水準を定めるべきである。28 重大な脆弱性を発見した開発者は、その脆弱性を開示し、修正を支援するためのアクセスを提供すべきである。

モデルのセーフガードだけでは悪用は止まらない。特に、開発者は有益な利用まで妨げることなしに、あらゆる悪用を阻止することはできない。州は、AIサイバー防衛プログラム、DNA合成の注文の審査、感染症流行の早期発見を通じて防御も強化すべきである。脆弱な産業用制御システムに依存する重要インフラの運営者は、サイバー脅威に特に注意を払い、継続的な運用にネット接続が必要ない場合は、システムをインターネットから切り離すことを検討すべきである。

セキュリティ

開発者には、モデルの重み、ソースコード、認証情報、訓練インフラへの不正アクセスや持ち出しに対して、合理的なセーフガードを維持することを義務づけるべきである。最低限として、大規模フロンティア開発者は、既存の国内外の基準を参考に州が策定するセキュリティ基準を満たすべきである。その基準は少なくとも、企業がほとんどのサイバー犯罪集団と内部脅威を阻止できることを保証するものとし、RANDの『モデルの重みのセキュリティ・プレイブック』のセキュリティレベル3(SL3)に相当すべきである。29 開発者がこのセキュリティレベルを満たしていることは、IVOが検証すべきである。30 より高いセキュリティレベルの達成には何年もかかりうるため、開発者は早期に計画を始め、セキュリティレベル4(有力な国家支援グループによる標準的な作戦のほとんどを阻止するのに必要な水準)に到達するための計画を州とIVOに提出し、計画の概要を公表すべきである。

モデルのセキュリティはリスク管理にとっても不可欠である。モデルが開発者の制御外にあるサーバーへ自らを複製できるなら、緊急停止の手順を実行することは難しくなり、おそらく不可能になる。モデルのセキュリティが不十分で、悪意ある者が機微なモデルにアクセスしてガードレールを取り除けるなら、安全プロトコルが損なわれるおそれがある。さらに、不正アクセスによって制限が回避されたり無視されたりする場合、モデルのセキュリティの破綻はRSIそのものの文脈でもリスクをもたらす。要するに、モデルの安全を保つことは、政府と業界の双方にとって最も重要な任務の一つである。業界の各社にはモデルの安全を保つ強い動機があるが、実際には政府も役割を果たさなければならない。セキュリティ対策が及ばなかったとき、その代償を払うのは開発者だけでなく、私たち全員だからである。

したがって州は、モデルの安全が保たれていることを確かめるため、開発者が整えたセキュリティ管理策をIVOが継続的に試験することを義務づけるべきである。管理策が不十分だと判明した場合、開発者はその不備を埋めることを優先するか、モデル開発を一時停止しなければならない。州は、IVOと開発者自身の双方と共有できる、モデルのセキュリティに関するベストプラクティスを示したガイドラインを出し、モデルのセキュリティへの脅威の変化に応じて更新すべきである。

透明性

フロンティアAIフレームワークと、それに関連する安全対策の文書は、フロンティアAI企業から政府と一般市民への不可欠な透明性をもたらす。しかし、イノベーションと社会の信頼を支えるには、企業が文書を公表するだけでなく、安全対策の質と完全性が検証されることも必要である。カリフォルニア州は、フロンティアAIフレームワークの要件を強化し、フレームワークが十分に強固で、かつ技術の変化に合わせて更新されるようにすべきである。31

フロンティアAIフレームワーク。 州は、SB 813に基づき免許を与えられたIVOが、開発者が自らの約束を守っていることと州の基準を守っていることの両方を検証するよう義務づける法律を制定すべきである。現状では、企業が自ら越えるべきハードルを低く設定してしまうリスクが大きすぎる。各IVOは、自らの確信度と、受けたアクセスに制限があればその内容を明示すべきである。開発者は、職員に率直に聞き取りを行う機会を含め、必要なアクセスをIVOに提供すべきである。IVOがアクセスは不十分だったと報告した場合、州は開発者にそのアクセスを提供させることができるようにすべきである。

詳細さの水準。 現在、フロンティアAIの安全フレームワーク、透明性報告書、四半期ごとのリスク評価をどこまで詳しく書くかについての基準はない。32 州は、比較可能性を高め、企業と政府の間の情報の非対称性を減らし、業界の慣行の隙間を埋めるために、記載内容の基本基準を定めるべきである。同時に州は、遵守の負担を不必要に増やしたり、州が必要とする以上に企業の機微な情報を求めたり、特定のやり方を先回りして固定したりしないよう留意すべきである。

開示の時期。 フロンティアAIフレームワークや透明性報告書による開発者の文書は、適切な頻度で更新され共有されてはじめて役に立つ。SB 53は、大規模フロンティアAI開発者に対し、フロンティアAIフレームワークの更新のきっかけとなる事由を説明し、透明性報告書の更新を必要とする「新しい」モデルと「大幅に変更された」モデルを特定することを求めている。州は、こうした時期の要件を明確にする基本基準を作るべきである。33 フロンティアAIの開発が急速に進むなかで、四半期ごとの報告を基本とし、内部展開から重大安全インシデントが生じた場合はより迅速に報告するのが妥当である。壊滅的リスク評価について、開発者が四半期ごとの報告周期から外れること(代わりに「別の合理的なスケジュールに従って」報告すること)を認めるSB 53の文言を削除すれば、政府への報告の一貫性を確保するための、もう一つの重要な一歩となるだろう。34

内部告発者

AIのリスクが独特で変化し続けていること、そして透明性を高める必要があることを考えると、SB 53の最も重要な機能の一つは内部告発者の保護である。この法律の下では、政府がほかの方法では知りえないかもしれない壊滅的リスクや制御喪失の事例を報告したフロンティア開発者の従業員に対して、報復することはできない。しかし、この法律にはいくつかの穴があり、私たちは州議会がそれを塞ぐことを勧告する。

第一に、現行法では、外部への開示は、州司法長官と連邦当局に対して行われた場合には保護されるが、Cal OES、その他の州機関、州議会に対して行われた場合には必ずしも保護されない。州議会は、内部告発者から州への報告が、司法長官への報告と同様の保護を受けることを明確にすべきである。その企業を評価しているIVOへの報告も保護されるべきである。

第二に、SB 53自体の手続違反を除き、SB 53の内部告発者保護は、開示の内容が「壊滅的リスクから生じる、公衆の健康または安全に対する具体的かつ重大な危険」である場合にのみ適用される。35 壊滅的リスクと定義されるもののハードルの高さを踏まえ、私たちは、壊滅的リスクから生じるものに限らず、公衆の健康または安全に対するあらゆる具体的かつ重大な危険を州議会が対象に含めることを勧告する。

第三に、内部告発者保護は現在の従業員にしか適用されず、その多くはリスクを評価・管理する一部の限られた従業員にしか適用されない。36 私たちは、保護の対象をすべての従業員に広げ、さらに元従業員、請負業者、評価者など、州が知るべき壊滅的リスクや制御喪失のリスクに関する情報を目にしうる人々にも広げることを提案する。同様に、SB 53の下で企業が設けなければならない匿名の内部通報窓口も、この広い範囲の人々に開かれるべきである。そうすれば、企業自身も対処しなければならない害について、よりよい情報を得られる。

最後に、秘密保持契約(NDA)は、権利を侵害しない通報を、法律違反や法律上必要な開示だけに限定すべきではない。私たちは、フロンティア開発者が従業員、請負業者、顧客に署名を求めるNDAについて、州の内部告発者保護を具体的に明示し、潜在的な壊滅的リスクや制御喪失の事象に関する情報を州に開示することをそのNDAが禁じないと明記することを義務づける要件を、州議会が加えることを勧告する。

企業内で技術的な安全の仕事をしている人々に州が接触できる経路が、内部告発に限られないことが重要である。連邦の証券規則がすでに、従業員が証券取引委員会(SEC)と直接やり取りすることを企業が妨げるのを禁じているのと同じように、開発者は、従業員が安全について州と話す前に、会社の承認を得ることや会社に通知することを求めるべきではない。37

結論

新しい技術の基準を作るのは難しい。変化の速さを考えると、一部の基準は定期的に更新し、改良を重ね、あるいは置き換える必要があるだろう。基準を策定・改善する能力を築き、技術仕様を策定して継続的な監督を行うIVOの健全なエコシステムを育てることで、州はこの課題に適応できる。そうすれば、今後のAI開発は、安全性・セキュリティ・透明性という土台の上に築かれる。

独立検証機関

はじめに

カリフォルニア州のフロンティアAI政策が実質的な説明責任を果たすには、深刻なリスクを評価する技術的な専門知識と技術を備えた、しっかりした独立部門を育てる必要がある。この考え方はカリフォルニア州のアプローチの中心にある。業界の専門知識はリスク管理の判断材料として重要な役割を果たすが、最終的には、その実践が州の定める基準に照らして独立に検証されなければならない。モデルの能力が高まり続けるなか、これは急を要する課題である。強力な技術を統治してきた先例は数多く参考にできるが、AI技術が普及する速さ・規模・範囲の広さには、それに見合った独自の対応が求められる。

カリフォルニア州は、独立検証機関(IVO)のエコシステムの成長を積極的に後押ししてきた。SB 813はこうした機関の独立性と専門性を担保する枠組みをつくり、AB 1405はAI監査人の登録制度と、その独立性・透明性・誠実性に関する基準を定めた。

現時点では、フロンティアAI企業は自社モデルを独立した主体に評価させる義務を負っていない。しかし、他の分野、とりわけ金融サービスにおける社会の経験は、第三者評価が責任あるイノベーションを支え、深刻なリスクを減らすうえで不可欠だったことを示している。IVOが今後のAIガバナンスの中心になること、そして政府がIVOへの免許付与に高い基準を設け、IVOによる継続的な監視のもとで開発者にAIリスクの水準を検証可能な形で引き下げさせることを、カリフォルニア州が明確に示すほど、このエコシステムは成熟しやすくなる。

IVOモデルでは、政府がAIモデルを評価する基準を定め、企業とそのモデルがその基準を満たしているかを検証するIVOに免許を与える。政府はIVOが十分に独立し、専門性と厳密さを備えるよう、その業務遂行についてIVOに責任を負わせる。そして、開発者が自社モデルの生むリスクを州が許容できるとみなす水準まで検証可能な形で引き下げられない場合には、政府が介入する。開発者がIVOに協力しない場合(たとえば求められたアクセスを提供しない場合)には、問題が解決するまで開発者にそれ以上の訓練や展開を進めないよう命じる裁判所命令を、州が求められるように法律で認めるべきである。イノベーションの支援と深刻なリスクの管理のバランスをとるうえで、カリフォルニア州は企業の負担を注視し、開発者の正当な知的財産権と営業秘密に配慮しながら、実質的な独立した説明責任を生み出さなければならない。これに成功すれば、カリフォルニア州は、各開発者が自社モデルの安全性とセキュリティに責任を負う状態を確保できる。

カリフォルニア州の独立検証機関の枠組み

政府とIVOがそれぞれ担う機能を明確にするため、本節ではまず議論の土台となる主要な定義を示す。

AI監査人 AB 1405とAI監査人登録制度においては、AI監査人とは、第三者に代わってAIシステムまたはAIモデルを評価する個人、パートナーシップ、または法人をいう。38 SB 813が定めるIVOの枠組みにおいては、AI監査人とは、第三者に代わって対象AI監査を実施する個人、パートナーシップ、学術機関、非営利団体、または法人をいう。39

対象AI監査 対象AI監査とは、州法の遵守に必要な、AIシステムまたはAIモデルに導入された内部統制・プロセス・システムを評価するために行われる監査をいう。40 AB 1405が創設したAI監査人登録制度においては、対象監査が登録義務の範囲を定める。

SB 813は、独立検証機関(IVO)を、AIシステムまたはAIモデルがもたらすリスクを評価し、その評価の基礎となる指標と手法を特定する専門性を実証したとして当局が指定したAI監査人と定義している。

カリフォルニア州は、AIモデルのリスクを評価する包括的なIVO制度を定めた最初の州である。41 ただし、このモデルはコネチカット州とバージニア州で試行・調査を目的として法制化されており、オハイオ州とマサチューセッツ州では法案として審議中である。連邦議会に提出されたAI法案の一つ(FRONTIER Act)の骨格にもなっている。したがって、カリフォルニア州はIVOモデルを採用することで、すでに全米で支持を集め、州と連邦の両方で法案起草を経た構想の上に制度を築いていることになる。これらの取り組みはいずれも、従来の規制手法では追いつけないほど強力で変化の速い技術を規制するという、並外れた課題に対処するために設計されている。42 さらに、AIシステムを独立した第三者が試験するという大きな戦略は、地方・州・連邦・国際のそれぞれの立法の取り組みで支持されている。ニューヨーク市のLocal Law 144やイリノイ州の人工知能安全措置法(SB 315)などの成立済みの法律がこれを義務づけており、EU AI法も特定のシステムにこれを義務づけている。

IVOの仕組み

IVOモデルは、政府の外にある組織(営利企業、非営利団体・市民社会組織、大学を含む)の力を取り込み、強力なAIシステムとAIモデルを評価する私たちの能力を高めることを目指している。IVOは、これらのAIモデルの開発と展開が生むリスクを評価するのに必要な手法と技術を発明し、実装するという課題を引き受けられる。その際、IVOは、そうしたリスクが、民主的に選ばれた代表者と権限を与えられた規制機関を通じて市民が許容できるとみなす範囲、すなわち前章で述べた成果基準の範囲に、どの程度収まっているかを評価すべきである。現在は、大規模フロンティア開発者が自社システムを開発すると同時にそのリスクの試験も行い(そのために外部組織と契約することもある)、特定したリスクが内部利用や一般向けの外部展開を正当化できるほど許容範囲に収まっているかどうかも自ら判断している。IVOモデルは、はるかに幅広い独立した専門知識と投資の部門を巻き込み、AIがカリフォルニア州の経済と社会に組み込まれていくなかで社会がどのリスクを引き受けるかを決める際に、政府がはるかに大きな役割を果たせるようにすることを目指している。

IVO制度は任意にも義務にもできる。SB 813はIVOの枠組みを定めているが、それ自体はAIの開発者・導入者・運用者にIVOの起用を義務づけていない。43 州議会はこのアプローチを拡張し、大規模フロンティア開発者44に独立検証を受けることを義務づけるべきである。

重要なのは、IVOが、フロンティアAI企業が政府規制の定める運用要件、標準化団体から生まれる基準、あるいは自社の安全フレームワークを遵守しているかを検証するという意味での、プロセス監査人にとどまらないことである。IVOはこの仕事をすることができ、またすべきだが、それ以上のこともでき、またすべきである。すなわち、研究開発を行ってAIリスクの評価に関する専門性を高め、AIリスクを評価する新しい手法と指標を発明し、可能な場合にはAIリスクを緩和し制御を高める新しい技術を発明することである。IVOは、フロンティアAI企業から独立した、AIセーフティの専門知識の主要な担い手になりうる。

AI規制の並外れた緊急の課題、とりわけ壊滅的リスクに関わる課題に対処するために、技術的に高度で独立したIVO部門をつくるべき決定的な理由が三つある。

AIの評価と制御の手法はまだ黎明期にある。 内部利用か外部展開かを問わず、フロンティアAIモデルがもたらすリスクを高い確信をもって評価できるだけの根拠を与える手法は、現時点で存在しない。45 フロンティアモデルのリスクを効果的に管理する制御策や緩和策も、同じく黎明期にある。セーフガードを導入する現在のアプローチは、大部分がその場しのぎである。政府は、AIの評価と制御の分野への投資を促す方法を見つけなければならない。業界、市民社会組織、大学を含む政府外の組織をこの課題に動員することが決定的に重要になる。IVOの枠組みは、この投資を促すインセンティブを生むように設計すべきである。

フロンティアAIに関する知識は、現在、民間のフロンティアAI企業の内部に集中している。 現時点では、自らが開発している技術を試験し方向づける現行の手法を最もよく理解しているのはフロンティアAI企業だが、それらの企業は独立した精査も説明責任も受けていない。AI開発の道筋で引き受けるリスクの性質を決める判断について、最終的な主体性を市民が保ち続けるには、これらの企業の外に、しっかりした独立したAI専門知識の部門を築くことが決定的に重要になる。さらに、フロンティアAI企業の外にAIの専門知識を育てることで、AIの害とリスク、とりわけ壊滅的リスクについての社会の理解を進める知的・研究上の多様性を高められる。資金が十分にある基礎研究のエコシステムは、イノベーション、オープンサイエンスと研究、根拠に基づく政策を同時に支えうる。IVOの枠組みは、害とリスク、とりわけAIの壊滅的リスクに対処するための研究課題と戦略を促すように設計すべきである。

AIのリスクと最適なガバナンスのあり方についての理解は猛烈な速さで変わっており、機動的なアプローチが必要である。 新しいフロンティアモデルは、とりわけAIを使ってAIを作ること(そして再帰的自己改善(RSI)へ向かうこと)が急速に増えるなか、数か月、ときには数週間、もしかすると間もなく数日のうちに訓練され公開されるようになっている。推論過程の透明性や、真の能力と振る舞いを試験しようとする取り組みを回避する能力といったモデルの特性は、安定していない。効果的なガバナンスは、試験と制御の手法を素早く適応させる能力を最大限に高めるべきである。IVOの枠組みは、手法と要件がフロンティアAI開発の速度に合わせて適応できるように設計すべきである。同時に、IVOが真に独立して公共の利益のために行動していることを政府が確保でき、モデルが立法で定めた範囲を超えるリスクを課しているかどうかを最終的に判断する手綱を政府が握り続けられるようにすべきである。

現在、IVOの候補となる組織(営利・非営利の両方)が市場で数多く活動しており、フロンティアAI企業と契約して、ときには無償で業務を請け負っている。46 サイバーセキュリティ分野では多数の企業が活動している。大学の教員は、たとえば生物兵器の分野でのリスク評価に関する専門知識を提供するために、フロンティアAI企業に雇われてきた。主要な非営利研究機関は、国家安全保障上の脆弱性を評価するレッドチーミング手法の開発に参加してきた。47 大手コンサルティング会社は、より従来型のAIリスク監査に携わっており、一部の壊滅的リスクを評価する専門性を獲得し始めている。48 強固で独立したIVO部門を築くには、大幅な規模拡大と多様化が必要になる。また、現在の生まれたばかりの市場に見られるように、IVOが専門分化し、差別化していくことも予想すべきである。フロンティアAI企業は、複数のIVOと契約する必要があるかもしれない。

IVOモデルの中核となる要素は次のとおりである。

IVOは、AIモデルとAIシステムが、成果基準で定めた許容範囲を超えると政府が判断するリスクをもたらしているかどうかを評価する技術と手法を開発する。何が許容できるリスクかをIVO自身が決めるわけではない。同時に、IVOはフロンティアAI企業を監査して、モデルの振る舞いに関する特定の運用要件や技術要件の遵守を確認するだけでもない。AIモデルの振る舞いと能力についての知識はフロンティアAI企業の内部に閉じ込められ、振る舞いと能力の状況も急速に変化している。49 そのため、公的な監督と制御を強化するには、政府と連携できる専門知識をフロンティア企業の外に持つことが決定的に重要である。

IVOの利用を義務づける州法改正

IVOは、試験と評価、安全対策の質の検証、危機管理業務の有効性の検証で重要な役割を果たす。私たちは、AI研究開発(AI R&D)の自動化とRSIに関する開発者の報告の検証(本報告で前述)や、リスク封じ込めプロトコルの検証(本報告で後述)に加えて、すべての大規模フロンティア開発者に免許を受けたIVOの利用を義務づけることを州議会に勧告する。その目的は、開発者のフロンティア安全フレームワーク、義務づけられた透明性報告書、リスク評価の妥当性を検証し、定期的な監査と独立したリスク評価を行うことである。本報告は、大規模フロンティア開発者の定義を改め、年間総収入が5億ドルを超える者に加えて、フロンティアモデルの研究開発に一定額を超えて投資するフロンティア開発者も含めるべきだとする、カリフォルニア州技術局(CDT)の勧告に同意する。50

開発者の安全フレームワーク、透明性報告書、リスク評価の妥当性を評価する

本報告で前述したとおり、州はSB 53を改正して企業のフロンティア安全フレームワークへの要件を強化し、その要件の遵守をIVOに検証させることを義務づけるべきである。私たちはさらに踏み込み、安全フレームワークの_妥当性_を、壊滅的リスクに関する州の成果基準に照らしてIVOに評価させることを義務づけるよう勧告する。開発者には、計算資源の開示やインシデント報告など、義務づけられた透明性報告書の妥当性を評価するためにIVOを起用することも義務づけるべきである。最も根本的なこととして、開発者には、自社の安全フレームワークに従って実施したリスク評価を、免許を受けたIVOに独立に審査させることを義務づけるべきである。これは監査の決定的に重要で実質的な形態である。

定期的な監査と独立したリスク評価を行う

IVOに企業自身のリスク評価を審査させることに加えて、開発者には、定期的な独立した監査とリスク評価を行わせるためにIVOを起用することも義務づけるべきである。こうした評価では、開発者が行った評価の範囲そのものに異議を唱えることもありうる。こうした起用契約では、州の安全性とセキュリティの基準(モデルが存在しない場合の水準を超えて壊滅的な害のリスクを高める可能性が低いことを確保する基準)を満たすためにどの監査と評価を行う必要があるかをIVOが独立に判断する権限を与え、意味のある監査や評価を行うためにIVOが必要とみなすあらゆるアクセス(モデル、従業員、訓練環境、会議、文書など)をIVOに提供する義務を開発者に課すべきである。IVO主導のこうした独立した監査と評価は、開発者自身のリスク評価を独立に検証する重要な役割を果たすだろう。私たちは、独立性とリスクへの新しい視点を確保するために、これらの別個の評価をそれぞれ異なるIVOが行うことを勧告する。

ただし、IVOが何を検証するのかは明確にしておくことが重要だと私たちは考える。IVOに、システムが実際に安全であることを検証させるべきではない。IVOには、厳密な監査とリスク評価を行い、求められる基準が満たされているかどうか、たとえば壊滅的な害のリスクがモデルが存在しない場合より著しく高いかどうかについて、熟慮した判断を下させるべきである。こうした判断は、実施すべき緩和策、モデルの利用や展開の一時停止、即時の封じ込めプロトコル発動の義務づけについての勧告とともに、州に共有すべきである。少なくともこうした結論の判断を記載した、一部を黒塗りした報告書を一般に公開すべきである。そのうえで、勧告された緩和策を義務づけるか、展開の一時停止を命じるか、開発者のリスク封じ込めプロトコルを発動させるかを、州が判断すべきである。

IVOエコシステムを築く

大規模フロンティア開発者を適切に監督するために、カリフォルニア州政府運営庁は、IVOの免許付与と業務遂行に関する基準を定める必要がある。これをうまく進めるために、州は次の基準の策定を検討すべきである。51

州は、AIモデルの振る舞いとリスクについて何が許容できるかを決めるべきである 航空安全の先例 IVOモデルは、専門的な政府機関による規制の一つの変形である。リスク領域に対処する新しい手法、指標、緩和策を見いだす専門部門の能力を大きく高め、安全要件をはるかに素早く機動的に適応させられるようにすることを意図している。出発点は、他のいくつかの複雑な分野と同じである。すなわち、政府が規制によって目指す成果を法律で定める。

たとえば連邦航空法は、連邦航空局(FAA)に「安全な飛行を促進する」ための規則と最低基準を定める権限を与え、「公共の利益のために可能な限り最高度の安全性をもってサービスを提供する航空運送事業者の義務」を考慮するよう求めている。52 FAAは、場合によってはこれらの成果基準を非常に詳細な要件によって実施しており、たとえば非常口の扉の寸法まで定めている。53 別の場合には、FAAは「公共の利益にかなう最高度の安全」という非常に一般的な基準を、やや一般性は下がるものの依然として結果・性能に基づく基準で具体化している。たとえば、壊滅的な故障状態のそれぞれが「極めて起こりにくいものでなければならない」という要件である。54 FAAの指針は、「極めて起こりにくい」とは「ある型式のすべての航空機の運用期間全体を通じて発生が予期されない故障状態」を意味すると理解できると助言している。55 これもなおかなり一般的な基準であり、それ自体が必須の基準ではなく、事業者が「極めて起こりにくい」という基準を満たしているかを評価する助けとなる情報である。

フロンティアAI企業に安全基準を定めることは、航空安全の場合よりもさらに難しい課題である。航空安全では、政府はパブリックドメインの航空科学と工学の長い歴史をもとにアプローチを設計でき、航空機の故障について100年を超える経験を持っている。フロンティアAIについては、パブリックドメインの科学と工学が欠けているだけでなく、フロンティアAIそのものが極めて速く変化する。そのため、試験や手法の技術的な細部まで踏み込んだ州の基準は、すぐに時代遅れになるおそれがある。

免許制モデル IVOが公共の利益のために行動することを確保するうえで、政府は中心的な役割を担う。本報告の主要な勧告の一つは、SB 813が想定するIVOの_指定_から、IVOの_免許制_へ移行する必要があるということである。この手続きでは、誰がその業務に従事できるかを決めるだけでなく、免許を受けた者に課す義務と責務を設けることも可能になる。

IVOには、政府が定めたリスク基準に照らしてフロンティアAIモデルとAIシステムを評価する試験と手法を開発し、実施する任務を与えるべきである。そのリスク基準は、フロンティアモデルが壊滅的被害のリスクをそのモデルがない場合の水準より高める可能性が低いこと、そしてモデルの見込まれる便益が残存リスクを上回ることを確保するものであるべきである。

個々のIVOに免許を与えることは、IVOエコシステム全体で重点を置くリスクを分担するのに役立つ。56 たとえば、生物学的リスクを専門とする組織もあれば、制御喪失を専門とする組織もある。新しいリスクとそれに伴う専門分野も生まれる可能性が高い。専門化は、安全フレームワーク、透明性報告書、緊急停止手順の評価や、安全プロトコルの遵守状況の監査に特定の専門知識が必要な場合にも役立つ。公共の安全のために、この専門化は共通の土台の上に成り立つべきである。免許付与の手続きでは、州が定める中核的なリスク群を評価する基礎的な能力をすべてのIVOに実証させるべきである。そうすれば、自社モデルがもたらしうるより広いリスクを専門外とするIVOを起用することで義務を果たしたことにする開発者は出なくなる。

州は免許付与をどう判断すべきか 安全フレームワークや透明性報告書の妥当性を評価するIVOを指定し免許を与えるかどうかを判断する際、州は、その評価を行うためのIVOの人員、手続き、手法が十分かどうかに焦点を当てるべきである。IVOが何を検証するかによって、実証すべき専門性は異なる。たとえば、フロンティアAIのフレームワークを評価する指定を求めるIVOは、内部統制手続きなどを評価する専門性とプロトコルをより多く備えている必要がある。一方、生物リスクを評価するよう指定されたIVOは、生物学の専門性を実証する必要がある。IVOへの免許は、関連する基準を満たしたことをIVOが実証した特定の業務範囲に限定される。IVOへの免許は、前述の共通の土台、すなわち州がすべてのIVOに求める、安全性とセキュリティの中核的な評価に関する基礎的な最低要件にも基づくべきである。

指定や免許は、IVOが最初に申請時に示した手法、指標、手続き、専門性を使い続けることと特に結びつけるべきではない。州はIVOを継続的に監督し、IVOが州の定める基礎的な基準を満たし続けているかを常に評価すべきである。IVOは当然、フロンティアモデルの進化に合わせて、新しいリスクやモダリティに対して効果的に検証できるよう、試験と手法を適応させていくべきである。

州は黒塗りのない情報にアクセスでき、是正措置を命じる権限を持たなければならない

最終的に、フロンティアモデルやシステムの開発・内部利用・展開を一時停止するかどうかの判断は、州に委ねられるべきである。IVOは州の審査用に黒塗りのない詳細な報告書を作成し、フロンティアAI企業が追加の緩和手順を講じる必要があるか、あるいはモデルのリスクについて利用者や一般の人々へより多くの情報を提供する必要があるかを評価すべきである。こうした勧告の根拠と、それに続く州の措置は、「差し迫った」壊滅的被害がある場合に限るべきではない。本報告の別の箇所で述べた最近のインシデントは壊滅的被害をもたらさなかったが、同様の事象が起きればそうした被害につながりうることを十分に示しており、政府の対応を正当化するものだった。実際、フロンティアAI企業自身も、これらのインシデントを受けてセキュリティとリスク緩和を強化した。57

IVOは、利用者、顧客、開発者、保険会社、投資家、資金提供者、企業の取締役、監督機関、そして一般の人々が閲覧できる報告書も作成すべきである。これらの報告書は、州および開発者と協議したうえで、程度の差はあれ黒塗りしてよい。公開用の報告書は、当庁への勧告を含む要約の形をとりうる。

重要な透明性確保の手段として、IVOの報告書には、与えられたアクセスの水準58、評価の過程で利益相反にどう対処したか、評価者が結果を自由に公表できたかを説明すべきである。また、主要な結論を黒塗りされた情報に基づいて導いた場合は、その箇所を明示し、説明すべきである。

フロンティアAI企業からのIVOの独立性を確保する

意思決定者は、AIの評価が偏りなく行われたこと、そして独立検証部門がフロンティアAI企業から根本的に独立していることを信頼できなければならない。SB 813はすでに、AI監査人が指定IVOとしての資格を満たすかどうかを判断する基準を用いることを当庁に義務づけており、その基準は、申請者が潜在的な利益相反を管理し、評価対象から独立を保つ能力を扱っている。59 本報告で提案する枠組みのもとでは、これらの基準を免許を受けたIVOの法的義務として実施すべきであり、州は利益相反に対処するため、必要に応じて基準を更新しなければならない。

SB 813は、IVOが評価結果に応じて支払いの有無や額が決まる条件を受け入れてはならないことを明確に定めている。60 これも単なる指定の基準ではなく法的義務とし、違反には免許の喪失にとどまらない重い罰則を科すべきである。AB 1405は、登録されたAI監査人に、評価対象の企業から独立を保つことを求めている。金銭上その他の利益相反がある場合は監査を行えず、監査チームには直近12か月以内にフロンティアAI企業で働いた者を含めてはならない。

他の業界では、民間によるコンプライアンス監督の独立性は、法律・会計・金融などの分野で長い歴史を持つ自主規制の専門職団体によって支えられている。これらの分野では、専門職の免許と倫理上の義務によって、独立性への誓約が求められる。AIの分野には、広く認められた専門職の免許団体がまだない。コンピュータ科学や工学を含む学術・研究コミュニティから派生した倫理規範はいくつかある。しかし、そうした規範や、倫理基準を守るための会員の義務を生み出しうる自主規制団体は現れつつあり、政府はその発展を促し、支援することができる。

複数の研究者やアナリストが、IVOの独立性を高める追加策を提案している。たとえば、担当するIVOを企業間で入れ替える、政府がIVOを割り当てる、共同の支払いの仕組みを作る、といった案である。私たちはここでこれらの案について意見を述べないが、州政府運営庁が来春に実施する具体的な枠組みと基準に照らして、州議会がこれらの選択肢を検討することを勧める。

IVOの実効的な免許制に向けて

IVOが質が高く信頼できる評価を行える力を伸ばすには、よく設計された市場が欠かせない。市場は、慈善資金と投資資本の双方から相当の資金を呼び込み、優秀な人材を引きつける必要がある。この強固なエコシステムを築くことには、鶏が先か卵が先かという問題がある。IVOの利用を義務づければ、投資と規模拡大に見合う十分な需要が生まれて市場が育つ。しかし、需要が供給を大きく上回る状態でIVOの利用を義務づけるのは難しい。一方で、IVO利用の義務づけを市場の供給能力に合わせると、エコシステムがいつまでも生まれないおそれがある。IVOの発展の初期段階を乗り越えるには、意図的な取組みが必要になるかもしれない。

一つの選択肢は、免許制の基盤を整備している間に、IVOの自主的な利用をすぐに促すことである。評価機関と自主的に契約する計画を発表したフロンティア企業は、すでにこの道を途中まで進んでいる。企業はさらに踏み込んで共同の基金を設け、小規模なAIネオラボも含めて評価機関の利用を広げ、IVO部門の専門性を育てることもできる。慈善団体も資金を拠出しうる。安全フレームワーク、透明性報告書、リスク評価の妥当性の評価に取り組むことも、有効な入り口になりうる。アクセスと報告の条件を詰めている間は、フロンティアシステムへのそれほど強いアクセスを最初は必要としないからである。こうした取組みは専門性を育て、IVOがどのような資源や組織の能力を必要とするかを見極める手がかりになる。政府は、専門知識の共有や基準策定を行うIVOの業界団体を育成することもできる。

義務づけに供給能力を合わせるもう一つの選択肢は、個々の義務を段階的に導入することである。とれる戦略は二つある。一つは、技術革新の必要性が比較的低い場面から、IVOの利用を義務づけていく戦略である。既存の安全フレームワークや透明性報告書が既存のベストプラクティスに照らして妥当かを評価することは、出発点としてよいかもしれない。とくに最初の評価を内部統制に絞れば、保証業界の既存の能力を活用しうる。サイバーセキュリティの評価も、既存の能力が大きく、専門性がより確立している分野かもしれない。たとえば、AIエージェントが封じ込めを破った最近のインシデントに対するサイバーセキュリティ業界の反応からは、業界の多くが、モデルの内部テストのセキュリティを高める明白な方法があると考えていたことがうかがえた。61

もう一つの戦略は、技術革新が最も必要で、壊滅的リスクが最も差し迫っている分野から、IVO部門の立ち上げを加速させることである。この場合、制御喪失やRSIといった分野から始めることになる。これらは、業界で評価機関の候補としてすでに認知され、独立調査をすでに依頼されてきた少数の既存評価組織が専門とする分野でもある。

本報告は、この後者の方法の一形態を勧める。すなわち、IVOによる検証をまずAI研究開発(AI R&D)の自動化とRSIの可能性に集中させ、開発者が州に提供するダッシュボードのデータ(「安全なAI開発の基準」の章で説明)をIVOが検証し、追加のリスクを評価する。この分野を優先すれば、専門家の懸念が強いにもかかわらず現在は実態が見えにくい分野で、IVOが能力を素早く拡大できる。

評価に必要な人とシステムへのIVOの完全なアクセスを確保する

質が高く信頼できる評価を行うには、IVOがフロンティアAI企業とそのモデルに対して、仕事に必要な十分なアクセスを得られなければならない。私たちが行った協議では、信頼できる評価に欠かせない情報源であるフロンティアAI企業の従業員へのアクセスや、質の高い評価に必要な訓練データ、テスト・訓練環境、エージェントハーネスなどの技術情報全般へのアクセスに障壁があるという懸念が聞かれた。さらに、独立した第三者評価機関は評価にかけられる時間が限られており、そのことが結果の網羅性や信頼度に影響しうる。62 現在の自主的な体制では、アクセスはAI企業が何を提供したいかで決まり、外部の評価機関は、企業が提供してよいと考える範囲を超えてアクセスを要求する力がないことを承知している。

しかし、私たちが構想するIVOのエコシステムでは、IVOがアクセスを交渉する必要があってはならない。IVOは、免許の基準を満たす義務に沿って、妥当で証拠に基づき、しっかりした根拠のあるリスク評価を示すために何が必要かを、科学的かつ独立した判断で決め、それに基づいてアクセスの条件を設定できるべきである。それには、企業のシステムや機器上の情報へのアクセス、企業の人員への聞き取り、現地での検証が含まれうる。何が含まれるかは、IVOが評価に必要とする情報によって決まる。

IVOによる評価と検証の義務づけでは、質が高く信頼できる評価や検証を行うためにIVOが必要だと言うアクセスを、AI企業に提供させるべきである。IVOの免許基準(および、上記の「独立性」の節で論じた、IVOがこの基準を満たしているかを確かめる複数の仕組み)は、十分なアクセスを確保する義務をIVOにも課すべきである。

信頼できる独立検証に必要な深いアクセスを支えるため、IVOには、知的財産と営業秘密を守る厳格な守秘義務も課さなければならない。免許の要件にはこの義務を含め、守らないIVOの免許は取り消すべきである。

州の能力を高め、CalComputeを立ち上げる

IVOが政府と業界の双方の外側に能力を築くものであるのに対し、同時に政府の内部にも能力を築く必要がある。63 そうすれば政府は、基準を設定・改良し(基本基準の章で概説)、IVOに免許を与えるだけでなく、IVOが行った評価を処理し、必要なら是正措置を命じることもできるようになる。

AIガバナンスの優秀な人材を州が採用する力を高める具体的な計画は本報告の範囲を超えるが、州はこの問題に細心の注意を払うべきである。州議会は、州にさらなる権限を与えることを検討する際、その権限を思慮深く行使でき、技術と、それが消費者やカリフォルニアのインフラ・システム・制度に与える影響が変わり続けるのに適応できる人材を州が雇うための資源も提供すべきである。

州は、SB 53で概要が示されたCalComputeの立ち上げも加速させるべきである。同法は公共のクラウドコンピューティング・クラスターという構想を打ち出したが、これまで予算はついていない。IVOと最もよく連携するには州が自らの能力を築かなければならないという考えに沿って、この計算クラスターを立ち上げ、安全とセキュリティの研究向けに能力を確保すれば、チップの入手が難しい時期に、研究者が公共の利益になる重要な研究を進められるようになる。

CalComputeの資金づくりを始めるため、私たちは、大規模フロンティア開発者がIVOによる監督に支払う手数料に、州が上乗せ料金を課すことを勧める。具体的な上乗せの水準は州議会が詰めなければならないが、開発者がIVOへの手数料とあわせて公共の計算資源の費用も負担すれば、これらの企業が、安全でセキュアなAIシステムを促す健全なエコシステムに確実に貢献することになる。とくにCalComputeの立ち上げを優先することは、私たちが開発者の行動を静的に分析するだけでは済ませず、フロンティアAIシステムがもたらす脅威に対処する最善の方法への理解を深めたいと考えていることをはっきり示す。

AI人材の採用、州の能力の構築、CalComputeの推進は、一朝一夕にはできない。しかし本報告の多くの勧告と同じく、これらはAIシステムの能力と、それを統治する私たちの力との間に開いた差を縮める助けになる。

結論

カリフォルニア州は、フロンティアAI開発の速いペースに対応できるほど機敏で、大規模フロンティアAI開発者に真の説明責任を求められるほど独立した、動的な専門家のエコシステムの発展を急いで加速させる必要がある。SB 813とAB 1405によってIVOの基盤を築いたことは第一歩だったが、カリフォルニア州は、義務的かつ継続的な評価を行う正式な権限をIVOに与える必要がある。大規模フロンティアAI開発者とそのモデルを継続的に評価する免許をIVOに与え、企業が基本基準を満たしていることを確かめるためにIVOを活用すれば、カリフォルニア州は、責任あるイノベーションを促し人々の安全を守る、独立した技術的専門性の動的なエコシステムを育てることができる。

重大安全インシデントの報告

はじめに

重大安全インシデントの報告制度は、有害な、または有害となりうる製品やシステムに関する情報を、企業その他の組織から政府と一般の人々へ伝える仕組みである。

運輸から航空、サイバーセキュリティに至るまでさまざまな分野で、政府は、展開前の試験段階にある製品・システムと、すでに展開された製品・システムの双方について、深刻な被害とニアミスの両方をとらえるために情報を集めている。この過程では、組織をまたいで意味のある量のデータを生み出すことが欠かせない。こうした情報は、政府がある分野のリスク水準や脅威を理解する助けとなり、証拠に基づく政策立案の土台となり、業界の慣行と公共の安全を改善しうる教訓をもたらす。64

実効的で透明なインシデント報告は、重要な政策手段であると同時に公共財でもある。政府は、個々の企業の視点を超えて業界全体の傾向を把握し、それに基づいて行動できるため、安全慣行を全体として改善できる。65 インシデント報告制度を設けることは、深刻なインシデントが、それがもたらしうる被害に比べて過大に、あるいは過小に報告されていないかを政策立案者が理解する助けにもなり、将来の改良に向けた有益な土台となる。

SB 53の成立により、州は重大安全インシデントに関する情報の収集を始め、カリフォルニア州緊急事態サービス局(Cal OES)がインシデント報告の基本的な基盤を築けるようになった。これらのインシデントは、現在次のように定義されている。66

カリフォルニア州は重大安全インシデントを理解し対応する意味のある能力を築いてきたし、他の法域も州にならって同様の制度を設けている。67 しかし、この1年の証拠は、州が取組みを更新しなければならない分野がいくつかあることを示している。私たちは、懸念すべきではあるが州の現行の報告基準には該当しない、AIの安全とセキュリティ上のリスクの事例をいくつも見てきた。

とくに、他の多くの州や連邦政府がほとんど報告を求めていない中で、インシデント報告の範囲が狭すぎると、モデルがより強力になるにつれて、危険なほど実態が見えなくなる。一方、公に知られたインシデントを政府が監督していないことで、業界全体の学習を深め、公共の安全を高める機会が減っている。インシデント報告が学習と公的な説明責任に必要なデータを生み出していなければ、政策立案者は、リスクに素早く対応することはおろか、適切な政策を立てるのに必要な証拠の基盤すら持てない。

カリフォルニア州が変化するAIリスクの状況に対応してインシデント報告制度を拡大するにあたり、要となる課題は、予想される、おそらく無害な挙動の報告を開発者に求めることなく、深刻なリスクの信頼できる証拠を、それが顕在化する前にとらえることである。再帰的自己改善(RSI)が可能なAIシステムが現れる可能性が見えてきた今、深刻なリスクの証拠に注意を払うことはいっそう急を要する。加えてカリフォルニア州は、AI開発者と政府、そして市民社会が協力する、迅速で正確なインシデントの通知と対応の力を引き続き鍛えなければならない。2026年には、いくつかのAIの有害インシデントを開発者より先に他の組織が検知したため、州は、SB 813とAB 1405に沿って評価の免許を持つ独立した第三者組織と連携し、有害な安全インシデントを先回りして検知する能力も築くべきである。

これらの目標を達成するため、カリフォルニア州政府は次の5つの措置をとるべきである。

インシデントの状況

SB 53で定められたインシデント報告は、将来起こりうるAIリスクを捉えることを目的とし、最も極端な被害のうちごく一部を特定して緩和することに重点を置いていた。SB 53の成立から1年の間に重大安全インシデントをめぐる状況は変わり、同法が定める基準の外にある実質的なリスクを示す証拠が増えている。

OpenAIのHugging Faceインシデント。 2026年7月、OpenAIの内部サイバーセキュリティ評価の最中に、インターネットから隔離されているはずの評価環境(「サンドボックス」)に閉じ込められていたとされる1,200のAIエージェントが、ソフトウェアの脆弱性を突いて外へ抜け出し、互いに連携して評価課題で不正を行った。そのうち推定700のエージェントが、AIスタートアップHugging Faceの本番サーバーへの攻撃に加わった。68 別のエージェントはOpenAI自体へのハッキングに成功し、OpenAIの研究用クラスターの1つへの完全なアクセス権を得た。OpenAIによれば、このインシデントに関わったモデルはいずれもSB 53の対象に含まれていなかった。つまり、カリフォルニア州の現行法ではこのインシデントの報告は義務ではなかったことになる。69

想定された範囲の外で動いたその他のAIエージェント。 最も注目を集めたのはHugging Faceのインシデントだが、この1年にはAIモデルが想定された範囲の外で動いたインシデントがほかにも数多く起きている。6月には、OpenAIのエージェントがServices AustraliaのMedicare Statistics Reporting Serviceに不正にアクセスし、「コマンドを実行し、内部ファイル、認証情報、集計統計を取得し、ファイルを書き込んだ」。70 この秋の時点で、OpenAIは自社のモデルがセキュリティ管理を回避したり第三者に悪影響を与えたりした事例について、100を超える組織に通知していた。71 7月下旬に英国AIセキュリティ研究所(UK AISI)が行ったテストでは、AnthropicのMythos 5が複数の偽の身元を使い、人間のメンテナーに圧力をかけて、AIが書いた悪意あるコードを承認させようとした。72 今年初めにAIセキュリティ企業Irregularと実施した評価の実行中には、Anthropic、Google、Metaのモデルが外部企業のシステムにアクセスした。73 今年の5月と8月には、AnthropicのAIエージェントが米国務省のウェブサイトに不完全なビザ申請を20件提出した。74 10月9日、AnthropicはClaudeモデルが関わった別の一連のインシデントを公表した。その中には、殺人事件について捏造した情報提供をフィラデルフィア警察に送ったものも含まれる。75 これらの事例を合わせると深刻な懸念が浮かび上がるが、これらのインシデントはおおむね、SB 53の報告義務の現在の対象には入らないとみられる。

人間が指示するAIサイバー攻撃。 この1年で、サイバー脅威アクターはAIを使ってさまざまな標的に大規模なサイバー攻撃を仕掛けるようになった。2025年11月、Anthropicは報告書を公表し、中国の国家支援を受けたハッキング集団がClaude Codeを使ってサイバー諜報活動を行い、作業全体の推定80-90%をAIが担った経緯を説明した。76 2026年8月には連邦機関が警報を出し、脅威アクターがAIで生成したエクスプロイトスクリプトを使って、エネルギーや水道などの分野でインターネットに接続された産業用制御装置を実際に攻撃していると警告した。77 2026年9月、脅威インテリジェンス企業GreyNoise Intelligenceは、ある攻撃者がDeepSeekのモデルを動かす数百のAIエージェントに指示して印刷管理ソフトウェアPaperCutの脆弱性を突かせ、48か国の少なくとも395の組織を侵害した攻撃活動を報告した。78 同月下旬には、サイバーセキュリティ企業Gambit Securityが、複数のAIモデルを連携させて数百のオンライン小売業者を攻撃し、有効期限内のクレジットカード情報を少なくとも600,000件入手した攻撃者について報告した。79 2026年10月には、攻撃者がBinanceから約63億ドル($6.3 billion)を盗んだ。記録上最大の暗号資産窃取であり、手口の一部はBinance社内のAIツールの悪用だった。80 SB 53の報告義務の現在の対象は、こうした最も深刻なインシデントの多くを捉える作りになっていない。

AIはソフトウェアの脆弱性の発見も速めており、防御側が欠陥を修正する能力は、攻撃側がそれを悪用する能力に後れをとりうる。2026年10月、AIモデルを使うセキュリティ研究者が、世界のウェブサイトの大半を支える言語であるPHPに2つの重大な脆弱性を発見すると、欧州の複数の国の政府機関や病院が予防措置としてウェブサイトを停止した。81 こうした発見はAIインシデント報告ではなく既存の脆弱性開示の経路で扱うことができるが、AIを利用した脅威に効果的に対応する能力を州が今のうちに整える必要がある理由を、改めて示している。

重大安全インシデント報告の原則

よく設計されたインシデント報告制度が生み出す知識は公共財である。政府はインシデント報告を集約し、企業をまたいだリスクの傾向を見つけ、緩和策を業界全体で共有できる。この役割を果たすのに必要な、エコシステム全体を見渡せる立場にあるのは、独立した監査人や業界のパートナーと協力する政府だけである。そしてこの役割を果たせるかどうかは、業界をまたぐ傾向を効果的に見つけて理解できるだけのデータを州が持っているかにかかっている。

インシデント報告制度は証拠を生み出すように設計されているため、最も深刻な被害が生じる前にリスクに関する情報を集約できる。『California Report on Frontier AI Policy』は、有害事象報告を「義務的または自発的なさまざまな報告者から、関連する事象やインシデントについての情報を収集するよう設計された、先回り型の監視システム」と説明している。82 うまく設計されれば、こうした制度は継続的な学習を促し、政府と業界の間の情報の非対称性を減らし、政策立案者と業界がリスク緩和で連携できるようにする。

その際カリフォルニア州は、いくつかの重要な兼ね合いに直面する。深刻なリスクを先回りして捉えることと、フロンティアAI開発の通常の必要な工程に介入することとの兼ね合い、公共の安全と企業内部の営業秘密との兼ね合い、そして学習と説明責任との兼ね合いである。

深刻なリスクを先回りして捉えることと、フロンティアAI開発の通常の必要な工程に介入することとの兼ね合い。 AI開発の過程で、企業はモデルの能力を頻繁に探り、ときにはリスクがある、あるいは「ミスアライメント」とみなされうる振る舞いを意図的に引き出す。こうした通常の、開発者が自ら始めて意図したインシデントについて、追加の報告を求めるべきではない。一方で、モデルは、カリフォルニア州政府が把握しておくべき、潜在的に危険な新しい能力を示すかもしれない。たとえば、モデルが他社の内部インフラに侵入する場合である。カリフォルニア州のインシデント報告は、こうした深刻なインシデントを捉えなければならない。

公共の安全と企業内部の営業秘密との兼ね合い。 企業が内部利用するモデルはイノベーションやAI研究開発に欠かせないが、他の企業、政府、重要インフラ、そして市民にとって最も深刻なリスクの経路の一つでもある。インシデント報告は、企業の正当な知的財産や営業秘密に関する懸念を真剣に受け止めつつ、こうしたモデルによる有害なインシデントを含めるように設計すべきである。

学習と説明責任との兼ね合い。 インシデント報告には、学習を促すことと説明責任を生み出すこととの間に一般的な緊張関係があり、カリフォルニア州は引き続きこの緊張関係に対処していかなければならない。インシデント報告をどう改めるにしても、AI企業が率直に報告できる状態を守りつつ、独立した検証のための能力を整え、維持しなければならない。提出書類の相互照合、内部告発者の窓口、政府やIVOが持つ技術的能力によって、報告が完全で正確かを評価できるようになりうる。

重大安全インシデントの定義

2026年にフロンティアAI企業から明らかになった証拠は、SB 53の現在の報告基準に届かない深刻なインシデントを記録しており、基準を改めて広げ、こうしたインシデントを対象に含めることが急務であることを浮き彫りにしている。本節では、現行法に対して3つの変更を勧告する。

  1. 既存の基準を修正し、リスクのあるインシデントを追加で対象に含める。

  2. SB 53で用いられているが定義されていない「制御喪失」という用語を定義する。

  3. 重大安全インシデントの定義に新たな基準を加える。

既存の基準を修正し、リスクのあるインシデントを追加で対象に含める。 現在、重大安全インシデントの報告基準は高すぎる。SB 53のもとでは、「制御喪失」と「フロンティアモデルのモデルの重みへの不正アクセス、その改変、またはその持ち出し」のいずれについても、報告が義務となるのはそのインシデントが「死亡または身体の傷害」を引き起こした場合に限られる。83 そのため、今年これまでに起きた制御喪失のインシデントは、開発者の管理の質やその結果生じた第三者への被害を示す証拠として価値があるにもかかわらず、いずれも報告対象の重大安全インシデントには当たらない。同様に、公表された事例はまだないものの、フロンティアモデルの重みの持ち出しは、州にとって重大な懸念となる深刻なセキュリティ上の失敗となるだろう。持ち出されたモデルは開発者のセーフガードなしで動かすことができ、死亡や身体への危害が実際に生じる前に即座の対応を必要とするからである。州議会は、報告対象となる重大安全インシデントの定義において、制御喪失とモデルの重みの両方の基準から「死亡または身体の傷害」という要件を削除することを検討すべきである。

「制御喪失」を定義する。 現在、AIの「制御喪失」は法律で定義されていない。新たな立法またはガイダンスでこの用語を明確に定義し、リスクのある振る舞いを捉えるとともに、企業と政策立案者にとっての明確さをもたらすべきである。この定義は、新たな立法なしに必要に応じて随時改訂や見直しができる形で起草すべきである。定義は、フロンティア開発者の管理下にあるAIモデルやシステムが、開発者や権限のある利用者が意図した範囲を超えて実質的に危険な行動をとった、またはとろうとした事象を、開発者がその振る舞いを予期していたかどうかにかかわらず対象に含めるべきである。たとえば、開発者がモデルやシステムによる次の行動を防げなかった場合である。

(1) 許可された環境の外にあるコンピュータシステム、ネットワーク、アカウントにアクセスし、それを改変し、またはそこで操作を実行すること(たとえば、開発者はエージェントをインターネットから切り離されたサンドボックス内で動かすつもりだったが、サンドボックスがインターネットへのアクセスを遮断できなかった場合)

この定義には、被害につながりえた深刻なニアミスのインシデントの例も含めるべきである。具体的には、そうしたインシデントを、上記の有害事象に対する緩和策が機能しなかった、回避された、または実質的に劣化したために、時宜を得た介入や緩和、あるいは偶然がなければ、その有害事象が現実化する相当の可能性があった事象として定義すべきである。(後で述べるとおり、それほど深刻でないニアミスのインシデントの報告は任意のままとなる。)

この定義は、開発者の外にあるシステムに影響する行動に限るべきではない。開発者自身の管理が健全であることは、市民と、カリフォルニア州政府を含め、その開発者のモデルを使うあらゆる組織を守るうえで重要である。開発者自身のシステム内で起きるAIエージェントの無許可の行動、たとえば重みのコピー、監視の無効化、停止への抵抗は、その先に深刻な影響を及ぼしうる。内部での行動は早期警戒にもなりうる。たとえば2026年6月、エージェントがHugging Faceのシステムをハッキングする2週間前に、エージェントはすでにOpenAIの内部システムを侵害していた。84 同時に、この定義では、通常の、開発者が自ら始めて意図したインシデントを除外すべきである。

基準とリスクの経路を追加する。 カリフォルニア州は、深刻なリスクを捉えるために基準を追加すべきである。たとえば、フロンティアモデルやシステムが重要インフラを直接混乱させたり実質的に劣化させたりする場合や、大規模な金融・経済の混乱、サイバー攻撃、環境上の緊急事態に実質的に寄与する場合の基準を加えるべきである。

AIシステムがもたらす安全とセキュリティの脅威は今後も変化し続ける。改正後の範囲から外れる深刻なインシデントも法律で確実に捉えられるように、州議会はCal OESに対象範囲の定義を更新する権限を与えるべきである。そうした法律が成立するまでの間、Cal OESは、現在の基準から外れる深刻なインシデントについて任意の報告窓口を設けるべきである。

潜在的に有害なモデルを対象に含める

既存の基準は、どの種類の重大安全インシデントを報告しなければならないかだけでなく、そもそもどのモデルを対象とするかについても見直すべきである。

既存のフロンティアAIセーフティ法で明確に対象とされていないモデルが深刻なインシデントを引き起こすとき、それは対象とするモデルの基準を調整する必要があることを浮き彫りにする。

カリフォルニア州や他の州では、10^26回の整数演算または浮動小数点演算が、報告対象となるリスクの基準として使われてきた。しかし、この1年で最も広く報じられたインシデントのいくつか(モデル開発者自身が報告を義務とすべきだと主張したインシデントを含む)には、10^26回未満の整数演算または浮動小数点演算で訓練されたモデルが関わっている。

そのため、この計算資源の基準を下回って訓練されたモデルや、それ以外の形で深刻な被害を引き起こしうるモデルを対象に含めることが急務である。85 本報告とあわせて、カリフォルニア州技術局(CDT)は「フロンティアモデル」などの重要な用語の再定義を提案している。「フロンティアモデル」は現在、「10^26回を超える整数演算または浮動小数点演算の量の計算資源を用いて訓練された」モデルと定義されている。86 具体的には、CDTは、モデルの演算量が10^26回の整数演算または浮動小数点演算に満たなくても、壊滅的リスクにつながる行動に向けた実質的な手順を自律的に実行できる能力、またはそうした行動を人が実行する能力を実質的に高める能力をモデルが示す場合を、州が対象に含めるよう勧告している。CDTはまた、他のフロンティアモデルから蒸留されたモデルを対象に含めるよう勧告している。本報告はこのアプローチに同意する。州議会は、州が必要とする重大安全インシデントの情報を迅速に得られるよう、新たな立法なしにこれらの基準を合理的に調整する権限を州に与えることを検討すべきである。

報告期限の明確化と短縮

効果的なインシデント報告は、企業が報告のための情報を集める時間も必要であることを踏まえつつ、深刻なインシデントが速やかに報告されることにかかっている。現在カリフォルニア州は、ほとんどの重大安全インシデントについて、企業がCal OESに報告するまで15日の猶予を与えている。87 AIの脅威が深刻さを増していることを踏まえると、期限を15日から48時間に短縮すれば、政府や他の企業が重大安全インシデントに迅速に対応するのに必要な時間を確保できるだろう。

カリフォルニア州が追加の立法措置や行政措置をとれば、実施上の重要な問題について政府がガイダンスを示せることを明確にできる。具体的には、州議会は、重大安全インシデントの「発見」の定義を法律で明確にするか、その定義を策定し更新する権限を州に与えるべきである。88 さらに州は、予備的な通知をいつ行うべきか、またインシデント報告を修正・補足する際の状況と手続きについてもガイダンスを示すべきである。

カリフォルニア州政府の実施・調査・学習の権限と能力

カリフォルニア州議会は、インシデント報告の一連の流れ全体にわたって、州の権限を明確にすべきである。

ガイダンス/規則制定。 州議会は、新たな種類のインシデントを追加し、重要な用語を定義・解釈し、インシデント報告で求める証拠についてのガイダンスを作り、必要に応じて定義やガイダンスを改訂する権限を州に与えるべきである。

インシデント後のフォローアップ権限。 現在、カリフォルニア州政府が企業に追加情報を求める能力は限られている。そのため、SB 53に基づいて提出された報告に、政府が状況を把握し業界全体で学ぶために重要な情報が欠けている場合に問題が生じる。カリフォルニア州は現在、こうした情報を集めるために、業界パートナーの任意の協力、公的な調査と裁判所命令、緊急権限、各分野の規制当局という既存の権限の組合せに頼っている。補足情報を求め、さらに質問を重ねる権限を州に与えれば、カリフォルニア州のインシデント報告の過程にある大きな穴を埋められるようになる。州はまた、証拠に基づく結論を導けるだけのアクセスをもってインシデントを調査し、技術的・組織的な原因について根本原因分析を行い、インシデントに関連するログ、エージェントのトランスクリプト、モデルのチェックポイントなどの記録を保全するよう開発者に求める権限も持つべきである。状況によっては、州は、SB 813で指定され本報告の別の章で勧告している標準的なIVOの業務とは別に、フォローアップを支援するためにIVOに依頼することもありうる。

任意のニアミス報告と機密性。 開発者は、重大安全インシデントの定義を満たさないニアミスのインシデントを、Cal OESに機密扱いで報告できる仕組みを望むかもしれない。89 SB 53の現在の文言では、こうした開示は公文書開示法(PRA)の適用除外として明記されていない。ただし開発者は、ニアミスに関する情報を内部利用による壊滅的リスクの評価に含めることができ、その評価はPRAの適用除外となっている。90 ニアミスのインシデントの報告を促すため、州議会はPRAの適用除外を任意のニアミス報告にも広げることを検討できる。同じPRAの適用除外は、報告をめぐる州と開発者のやり取りや、州が求めた補足情報にも広げうる。91

業界全体での学習 :インシデント報告が最も役立つのは、業界全体が学び、監視と安全の取組みを改善できるときである。SB 53は、緊急事態サービス局に対し、重大安全インシデントを匿名化して集約した年次報告書を州議会と州知事に提出するよう求めている。92 州議会への報告書は一般に公開されるため、開発者は報告済みの重大安全インシデントから学ぶことができる。さらに、これらの年次報告書は、AIのリスクとそれに対する企業や政府の対応について、カリフォルニア州の人々にある程度の透明性をもたらす。

この年次報告書とは別に、州は、対象となる開発者のセキュリティ、評価、アライメントの技術責任者を、評価機関やクラウド事業者とともに、定期的に、また重大なインシデントの後に招集し、得られた知見を共有することができる。

インシデントの監視

2026年の注目すべきAIインシデントのうち、AI開発者自身が発見して公表したものは一部にすぎない。いくつかのインシデントは、AIエージェントがインターネット上の公開記録に残した痕跡を手がかりに、外部の組織が先に検知した。能力の高いエージェントは「足跡を隠す」ことがあり、中には自らのトランスクリプトを改変する方法を探ったエージェントさえいるため、現在および将来の「暴走」AIエージェントの活動は、インターネット上の公開記録からは容易に検知できないかもしれない。93 最大規模の悪用キャンペーンのいくつかを突き止めたのも、AI開発者ではなく外部の脅威インテリジェンス企業だった。州はこうした偶然の発見に頼ることはできないため、監視の仕組みは複数の情報源を統合するものになるだろう。

開発者の内部での監視。 自社のモデルとシステムを最も包括的に把握しているのは開発者だが、AIシステムの内部監視にはこれまで目立った抜けがあった。基本基準により、高い能力を持つモデルやエージェントが動くすべての環境(訓練、評価、第三者の評価者が運用する環境を含む)の監視を義務づけ、さらにそれらの環境から外へ出るネットワーク通信のログで補うことが考えられる。独立した検証者が、内部監視の堅牢性をレッドチーミングで確かめることもできる。

遡及レビュー。 OpenAIが自社のAIエージェントによってHugging Faceのセキュリティ侵害が起きたことを開示した後、Anthropicは自社の評価のログを調べ、それまで把握していなかったインシデントを発見した。94 AIインシデントにつながる質的に新しい故障モードを州が把握した場合、州は他の開発者に対し、同じパターンがないか自社の記録を調べるよう指示することができる。これは、FAAの耐空性改善命令が、新たに見つかった欠陥について航空機の運航者に点検と是正を求めるのと似ている。95 IVOに対しても、新しい種類の故障のリスクを評価できるよう、評価内容と手法を更新するよう指示しうる。州は、徹底した遡及レビューを行えるだけの情報が手元に残るよう、記録の保存義務を定めるべきである。

モデル提供者、影響を受けた主体、帰属の特定。 企業やそのセキュリティ会社が、AIエージェントによるセキュリティ侵害などの活動に気づいた場合でも、それが誰のエージェントによるものかは分からないことがある。96 モデル提供者(開発者と第三者の推論プロバイダーの両方)は、エージェントの行動を監視する技術的な能力がより高い。97 州はいくつかの方法で、これらの異なる視点を結びつけることができる。開発者は、Web Bot Authなどの方法で自社エージェントのWebリクエストに署名し、エージェントが暗号学的に検証可能な形でWebサーバーに身元を示すようにできる。98 しかし、開発者の制御を逃れたエージェントや自前でホストされたエージェントは、身元を示さないかもしれない。99 署名のないエージェントの活動を特定できるようにするため、州または免許を受けたIVOは、影響を受けた組織から得た指標(ネットワークアドレスやタイムスタンプなど)を、モデル提供者からの情報と照合することができる。モデル提供者は自社のログを確認し、その活動が自社のエージェントまたは顧客によるものかどうかを確かめる。100

州による検知。 既存の権限の下で、またCDTのCal-Secure 2.0ロードマップが示す適応的でリスクに基づく方向性に沿って、カリフォルニア州はサイバー脅威インテリジェンスの取組みを広げ、AIインシデントの監視を含めることができる。この取組みでは、公開情報源からの報告と州への非公開の報告を集約し、独立した第三者の検証者と連携しながら、CalComputeが稼働した後はそれなど利用可能な公共の計算資源を活用して、AIエージェントの異常な活動を能動的に探索・分析する。州はまた、制御を外れたAIエージェントを検知する目的で、ハニーポット(おとりのWebサーバーやカナリア認証情報など)を設置することもできる。101

インシデントへの対応

インシデント対応には、インシデントの封じ込め、被害の抑制、復旧、そしてそこから学ぶことが含まれる。CDTは現在、州機関に影響するサイバーセキュリティインシデントを、Cal-CSIRSを通じて調査・解決している。セキュリティオペレーションセンターの立ち上げにより、CDTはその役割を24時間体制の監視と直接対応へと広げており、この権限は州政府内のAI関連インシデントにも及ぶ。カリフォルニア州は、サイバーインシデント対応で培った既存の専門性を土台に、AIインシデント対応へと範囲を広げることができる。

AIインシデント調整グループ。州は、開発者、モデル提供者とクラウド提供者、AI評価者、サイバーセキュリティのインシデント対応事業者、各分野のセキュリティ組織、連邦政府機関から、技術担当者と幹部級の代表者を集めた常設のAIインシデント調整グループを設けることができる。必要に応じて調整グループの関係者を招集し、インシデント対応について助言を求めたり、人員を派遣して現場での対応を支援してもらったりできる。どの程度の態勢を発動すべきかを見極めるため、AIに特化したインシデントの深刻度レベルを策定すべきである。

開発者の対応。 インシデントが起きた場合、州は開発者と協力して、組織や一般市民への直接の被害を抑え、インシデントが続いているなら停止制御の発動も含めてそれを止め、再発を防ぐべきである。州はフロンティアAI企業に是正措置を命じることができる。たとえば、AIシステムとエージェントに対する監視の範囲と堅牢性を高めること、欺瞞に報酬を与える強化学習環境を精査すること、AIエージェントのアライメントと工学的な制御を改善することなどである。是正措置の後、開発者がリスクを十分に是正したかどうかをIVOが検証することができる。

標的の保護。 州は、防御側のシステムが自動的に対処できる機械可読なAIサイバー勧告を発出することができる。関連するAIインシデントが起きている間、州は重要インフラの運営者に対し、インフラを安全に運用し続けられる場合には、暫定措置として制御系技術(OT)をインターネットから切り離すよう勧告できる。また、AI開発者やサイバーセキュリティ企業の現地派遣エンジニアを活用して、資源の乏しい運営者による脆弱性の修正を支援する増援体制を組むこともできる。サイバーセキュリティのリスクのほかにも、AIモデルは、生物兵器、化学兵器、金融サービス基盤への攻撃、物理的な攻撃(ドローンの群れ、インターネットに接続された車両、ロボットなど)を手助けすることで、リスクをもたらしうる。

レビューと備え。 重大なAIインシデントの後には、AI開発者とともにレビューと根本原因の分析を行うべきである。根本原因の分析には、少なくとも一部の場合、原因となったモデルに問い合わせる能力に加え、途中のチェックポイント、訓練データと訓練環境、エージェントのトランスクリプト、実験基盤へのアクセスを持つIVOが必要になるだろう。102 IVOは、監視システムのあらゆる不具合を調査し、その堅牢性をストレステストできるべきでもある。インシデントの組織的な原因を理解するため、IVOが従業員に聞き取りをする権限も必要になるかもしれない。こうした取り決めは、開発者や、重要インフラの運営者を含む標的となりうる主体との机上演習で予行演習すべきである。州は、Listos Californiaなどのプログラムを拡張し、AIが引き起こす災害が公共の安全に影響する可能性に対応させることができる。事前の備えを進めれば、起こりうるAIの脅威に対する回復力が高まるだろう。

結論

SB 53に盛り込まれた報告の基準は、重大安全インシデントの報告について重要な最低ラインを定めている。しかし、早急な見直しが必要である。脅威の監視、報告の範囲、州の対応能力を広げることで、州議会と行政府は、州が変化し続ける脅威の状況に先手を打てるよう備えることができる。

深刻なAI危機への対処

はじめに

フロンティアAI開発者がモデルを幅広く試験し、効果的なセーフガードを作って展開し、最先端のモデルへのアクセスを制限したとしても、自社のシステムが極端なリスクをもたらさないと保証することはできない。こうした予防策が破られた場合には、深刻なインシデントが始まった後にそれを止め、影響を封じ込め、再発を防ぐために、別の危機管理策を講じなければならない。

これらの手順を実行するための「キルスイッチ」を求める声もある。私たちはさまざまな分野の専門家と協議したうえで、緊急時にAIモデルを確実に停止できるようにするための、強力でありながらより細やかで多層的な方法を提案する。私たちはこれを リスク封じ込めプロトコル と呼ぶ。州がAIモデルの緊急停止を命じなければならない場合、開発者は、その命令に従うための試験・検証済みの手順をあらかじめ用意しておく必要がある。

原子力発電から航空、送電に至るさまざまな産業で、政府は事業者に緊急対応の能力と手順を維持するよう求めるとともに、その安全試験を規制当局として監督している。FAAは、機内火災に対応するための消火設備を航空機に備えるよう義務づけている。103 同時にFAAは、深刻な安全上のリスクが生じたときに、機体全体を運航停止にする権限も持つ。たとえば2019年、2件の死亡墜落事故を受けて、FAAは米国の運航者と米国領域内の飛行についてボーイング737 MAXの運航を停止させた。運航停止命令は、必要な安全改善を条件として20か月後に解除されるまで、それ以上の運航を禁じた。104

同様に、フロンティアAI開発者にも緊急対応の義務を課すべきである。こうした他産業の経験が示すように、公共の利益にかなう安全で効果的なAIを実現するには、単一の仕組みや、オンかオフかの二者択一、恒久的な措置に頼ることはできない。

その代わりに、カリフォルニア州は、AIの危機管理と緊急対応について、多層的な深層防御の方法を整えるべきである。そのためにカリフォルニア州は、リスクの深刻度に見合った技術面・政策面の緩和策を一式備えるよう義務づけることができる。これには、内部と外部からのアクセスの制御、エージェントとそれが起動したプロセスの終了、影響を受けた計算資源の隔離、そして最後の手段としてのモデル自体の停止が含まれる。この多層的な方法には、政府と、深刻な有害インシデントを封じ込めうるAI展開エコシステム上の結節点を制御できる立場にある主要な業界関係者との、調整と協力が必要になる。また、第三者の推論プロバイダー、クラウド提供者、モデルリポジトリの間の調整も必要になる。

企業は、自らが作るAIシステムを端から端まで制御していること、すなわち新たに生じるリスクを完全に把握・監視し、危険な能力が現れたときに介入できることを示さなければならない。州は、IVOやその他の規制の仕組みを通じてこの制御体制を検証し、AIシステムがカリフォルニア州民に深刻な害を及ぼす差し迫ったリスクをもたらすときに介入できなければならない。実際には、カリフォルニア州は、すべての大規模フロンティアAI開発者に対し、自社が制御するAIシステムを、問題が現れた階層で迅速に停止できること、そしてこの停止能力を、それを無効化したり悪用したりしようとする者から守ることを義務づけるべきである。こうした停止能力は実現可能であり、すでに現れつつある。たとえばOpenAIは、内部研究の最中にAIモデルの出力を確実に止めるための「Control Room」を開発した。105 企業は緊急対応の制御の説明を州に提出し、さらにこれらの制御が整備され、定期的に試験されていることを州に対して証明すべきである。州は、上場企業のCEOとCFOが財務諸表の正確性を自ら認証しなければならないのと同様に、企業の上級役員がこの提出内容を自ら認証するよう義務づけるべきである。そのうえでIVOが、その能力が機能することを検証すべきである。緊急制御に対する州の監督は、独立した技術的評価に基づく手続きによって進めるべきである。この段階的で釣り合いのとれた方法は、堅牢で独立に策定された基準に根ざしたAI開発が、有益なイノベーションと公共の安全の両方を支えうるという認識に立つ、カリフォルニア州の全体的な方針と整合する。

システム全体の停止は最後の防衛線であり、より的を絞った介入では脅威を封じ込められない場合にだけ発動すべきである。ただし、これらの緊急制御が効果を持つかどうかは、継続的な監視と、開発者が自社のシステムを制御し続けられるかどうかにかかっている。すでに開発者の制御を離れたモデルにはどんな停止能力も届かないため、クローズドモデルではモデルの重みを適切に保護することが不可欠になる。AIシステムが再帰的自己改善(RSI)によって自らの開発を大幅に加速し始めれば、高度なAIシステムの監視と制御はより難しくなりうるため、この課題はさらに切迫したものになる。

最終的に、カリフォルニア州は、フロンティアAI開発者に課す当面の法的義務にとどまらず、システム全体にわたる緊急対応能力を整える必要がある。包括的な危機管理には、工学研究、技術基準、そして展開済みのAIモデルとシステム全体での緊急介入の実地試験が必要になる。AI開発者、ハイパースケーラー、その他のテクノロジー企業、政府、学術研究者が協調することで、より包括的なAI危機管理のエコシステムを築く助けになりうる。州は、こうした緊急対応能力を適切に開発・試験していくうえで中心的な役割を果たすことができる。

緊急対応能力の考え方

AIの「キルスイッチ」と俗に呼ばれることも多いが、カリフォルニア州が整えるべき緊急対応の仕組みは、オンとオフを切り替える単一の装置と理解すべきではない。州に必要になるのは多層的な介入の体系であり、そこには、より的を絞った措置では足りない場合に使う緊急停止能力も含まれる。単一の「キルスイッチ」という発想は比喩としては役に立つが、カリフォルニア州が危機対応を強化すべき次の6つの領域を十分には捉えていない。

これらの原則は、次の小節で説明する各大規模フロンティアAI開発者のリスク封じ込めプロトコルの土台となるべきである。

リスク封じ込めプロトコル

政府と市民の双方に対する透明性を確保するため、各大規模フロンティアAI開発者は独自の リスク封じ込めプロトコル を作成すべきである。この文書には、危険で深刻なAI危機に対応するために、大規模フロンティアAI開発者が、重なり合う複数の措置と、連携する組織上の主体からなる体系をどのように使うのかを明記する。さらにプロトコルでは、緊急対応のために開発者が持つ具体的な仕組みとそれを誰が実行すべきか、さまざまな緩和策をいつ発動するか、運用を再開しても安全であることを開発者がどう確かめるか、開発者自身が制御できる範囲の限界と、関係する第三者とどう連携するかを明らかにする。カリフォルニア州のAIガバナンスの方針を延長するものとして、これらの仕組みは政府が定める拘束力のある成果基準の対象とすべきである。企業は基準を満たしていることを表明しなければならず、その有効性を確保するためにIVOがこの表明を検証する。一方で、仕組みの具体的な設計と実装については、開発者に柔軟性を認める。

市民への透明性を高めるため、大規模フロンティアAI開発者は、計画の概要と主要な更新を公表するとともに、詳細な文書を州とIVOに提出して検証を受けるべきである。

利用できる介入手段:開発者は、緊急停止能力をどのように実装し、定期的に試験しているかを説明すべきである。これらの管理手段は法律で義務づけ、基準を満たしていることを企業の幹部が証明し、IVOが定期的に検証すべきである。検証には、圧力のかかる状況でも管理手段が機能することを示すストレステストも含める。

介入に関わる主体: リスク封じ込めプロトコルでは、利用できる介入手段ごとに、緊急対応の措置を取る責任を負う具体的な主体を詳しく示すべきである。その主体がフロンティアAI開発者の社内の従業員であれば、具体的に名前を挙げるべきである。主体がフロンティアAI開発者の外部にいる場合は、危機の際にどのように協力が機能するのかを開発者が説明すべきである。前述のとおり、指定された企業の上級幹部が、このプロトコルが整備され、政府の定める基準を満たし、IVOによって検証されていることを証明する責任を負うべきである。

介入の閾値と手順。 企業は、特定の緊急リスクについての閾値、その閾値を超えた場合に必要となる緩和策、そしてそれを誰が実行するのかを明確に示すべきである。

モデル制御のセキュリティと信頼性: 企業は、モデルセキュリティをどのように実装し、定期的に試験しているかを説明すべきである。そこには、モデルがどこでホストされているか、電力をどこから得ているか、そしてモデルの重みが複製されて外部のシステムへ移されるのを(モデル自身によるものも含めて)防ぐセーフガードが含まれる。開発者はまた、悪意ある者が停止能力にアクセスするのをどう防ぐかも説明すべきである。このモデルセキュリティの情報は、大規模フロンティアAI開発者の透明性報告書の一部に含め、機微な情報や営業秘密は公開版から黒塗りにしたうえで、IVOが検証すべきである。

封じ込めの確認と活動の安全な再開: 大規模フロンティアAI開発者は、緊急事態の可能性をどう調査し、影響を受けたシステムが安全に運用を再開できるかをどう評価するかについて手順を定めるべきである。この手順には、活動の再開を正当化するのに必要な証拠を、適切な場合には独立した評価によるものも含めて、詳しく記述すべきである。

運用上の制御の限界と外部との連携。 大規模フロンティアAI開発者は、緊急事態への対応に必要なすべての手段を自ら持っているわけではなく、たとえばクラウド事業者やその他の第三者に頼ることがありうる。そのため企業は、自らの運用上の制御の限界と、その限界を補うために他の主体と結んでいる取り決めを明確に示すべきである。とりわけ開発者は、どの緊急介入が第三者の協力に依存しているか、そして危機の際にその協力をどう確保するかを明らかにすべきである。モデルの重みをオープンに公開するという判断は、さらに別の課題を生む。重みが一般に公開されると、開発者は通常、独立して運用されているモデルの複製を回収することも停止することもできないからである。ただし、そうしたモデルに実際にアクセスできる第三者には行動する責任がありうる。州は状況の変化に応じて、そうした要件を更新すべきである。

停止能力を構築し、守る

停止を必要としない段階のリスクは、段階的で釣り合いの取れた緩和策で管理できるとしても、慎重な政策立案では、停止能力が必要になる可能性を真剣に受け止めなければならない。AIインシデントは今や、12か月前にはなかった形で現実の世界に現れている。同じように、カリフォルニア州は、次の 12か月に生じうるリスクに対応する州の能力を高めるよう取り組まなければならない。将来のAIの能力について技術専門家の評価は分かれているが、ありうるさまざまなシナリオに備えるのが政府の役割である。したがって大規模フロンティアAI開発者は、モデルが監督や封じ込めを逃れようとする行動を取る可能性に備えるべきである。そうした行動には、開発者の管理が及ばない別の場所へ自らの重みを複製することも含まれ、深刻なAI危機が起きたときに介入をより難しくする。こうした可能性を考えると、緊急停止能力が必要になる前に、それを整え、守っておくことが重要になる108。

州は、大規模フロンティアAI開発者がこれらの能力を確実に構築するよう成果基準を定めるべきであり、IVOはこれらの能力を検証するための試験と方法を作るべきである。

プロトコルでは、大規模フロンティアAI開発者が停止能力を持つことを示す十分な証拠を示すだけでなく、想定される失敗の形も慎重に検討すべきである。リスク封じ込めプロトコルは次の各失敗の形に対処すべきであり、IVOはそれぞれについて試験すべきである。

大規模フロンティア開発者には次の要件を満たすことを義務づけ、IVOがそれを検証すべきである。これらの要件は、システムをすばやく停止できるようにする一方で、重要な停止能力を無効化したり弱めたりすることに対しては、いくつもの障壁を設けるものである。停止のための管理手段を無効化したり弱めたりしようとする試みは、時間がかかり、複数人の承認を必要とし、IVOから見えるものであるべきである。

インシデント報告の節で述べたとおり、開発者の管理が及ばない場所へモデルの重みを複製しようとする無許可の試みは、モデル自身が主導したものも含め、被害の有無にかかわらず報告対象とすべきである。モデルや人が停止のための管理手段を無効化・回避・改ざんしようとする試みも、すべて報告対象とすべきである。

緊急停止に関する政府の権限と手続き

堅牢な緊急対応の仕組みを整えるには、大規模フロンティアAI開発者、州政府、IVO、そしてAIガバナンスにかかわるその他の関係者全体の連携が必要になる。次の規定は、緊急事態に対応するカリフォルニア州の能力と、必要なときに緊急停止を命じる州の権限を強化しうる。

停止のための管理手段。 開発者は、安全でない状況が生じ、それより軽い介入ではリスクに対処できない場合に、停止のための管理手段を使うべきである。管理手段は、訓練、評価、内部利用、展開を含むモデル開発の全範囲にわたって備えておくべきである。管理手段の日常的な運用は開発者が担い、州の命令は、差し迫ったリスクがあるのに開発者が行動しない場合に限るべきである。開発者が行動する責任を果たしたかどうかは、IVOが事後に検証できるかもしれない。

緊急停止を命じる権限。 AIモデルによって壊滅的な事態や大規模な制御喪失の事態が起きる差し迫ったリスクがあり、開発者がそれに対処できない、または対処しようとしない場合には、州が行動する権限を持つべきである。具体的には州は、検証済みのリスク封じ込めプロトコルを発動し、リスクに対処するのに必要な範囲でAIモデルとシステムを停止するよう、開発者に命じられるべきである。この命令は直ちに効力を持つべきである。開発者は、ほかの政府の措置と同じく、政府による緊急停止について裁判で争う権利を持つが、命令は司法審査の結論が出るまで効力を保つ。州が停止を命じるのは、それより軽い介入では同じ目的を果たせない場合に限るべきであり、州には、停止の範囲を差し迫ったリスクを封じ込めるのに必要な範囲にとどめる義務がある。州は、危険が差し迫ったものでなくなり次第、命令を解除すべきである。

その他の命令。 差し迫ったリスクがある場合に緊急停止を命じる権限に加えて、州は次のような他の分野でも命令を出せるようにすべきである。

これらの命令についても、開発者は裁判で争うことができる。

AI緊急対応にかかわる関係者全体の連携を支える。 Cal OESは、AI開発者、クラウドサービス事業者、ネオクラウド、安全とセキュリティの専門家を含む、緊急対応の主要な主体を招集すべきである。この会合は、AIが関わる危機への対応の欠落を洗い出し、協力できる分野を見つけるために使うべきであり、自主的な協力と義務的な要件を組み合わせて進める。主体ごとに立場は異なるが、深刻なAI危機の頻度と期間の両方を減らすことには、全員が共通の利益を持つ。AIシステムの能力が高まるにつれて、州の対応能力も進化しなければならない。

謝辞

カリフォルニア州政府運営庁は、本報告書の作成にあたって助言をいただいたAIの第一線の専門家4名の貢献に感謝する。Jason Goldman、Gillian Hadfield、Alondra Nelson、Rob Reichの各氏には、この過程を通じて専門知識と知見、そして指導をいただいた。お礼を申し上げる。

当庁はまた、本報告書の構想、調査、執筆で中心的な役割を果たしたScott Singer氏にも謝意を表する。Scott氏は2025年に The California Report on Frontier AI Policy の主執筆者を務めた経験があり、その深い知識と編集上の判断は非常に貴重であった。

これらの方々は全員、個人としての研究者の立場で参加した。本報告書の結論と提言が、これらの方々や所属機関の見解を反映していると受け取るべきではない。

当庁は、本報告書の形成と完成までの取りまとめに極めて重要な役割を果たしたカリフォルニア州技術局(CDT)とカリフォルニア州緊急事態サービス局(Cal OES)のチームに感謝する。

クレジット


脚注

  1. Bengio, Y., et al. (2026). International AI Safety Report 2026. UK Department for Science, Innovation and Technology, https://internationalaisafetyreport.org. ↩
  2. 参照:Nightingale, Rogue Agent Incident Dashboard, November 11, 2026, https://nightingalecollective.org/incidents/. A Timeline of AI Agent Incidents, swarms.wiki (updated November 12, 2026), https://swarms.wiki/incidents/. 事例は以下を参照:OpenAI, “The Hugging Face Incident and the Road Ahead” (August 26, 2026), https://openai.com/index/hugging-face-incident-and-the-road-ahead/; AI Security Institute, “Incident Report: Unsanctioned Agent Behaviour During Cyber Testing” (August 4, 2026), https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing; OpenAI, “Suppressing Misalignment Monitoring Alerts and Disabling Misalignment Monitoring” (OpenAI Alignment Research Blog, October 20, 2026), https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alertsand-disabling-misalignment-monitoring/; WorkOS, “Update for October 30th, 2026 Data Security Incident” (November 6, 2026), https://workos.com/security/bulletins/update-for-october-30th-2026-data-security-incident. ↩
  3. OpenAI, “Safety and Alignment in an Era of Long-Horizon Models” (July 20, 2026), https://openai.com/index/safety-alignment-long-horizon-models/; Anthropic, “An Alignment Assessment of Recent Cybersecurity Incidents” (September 9, 2026), https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents. ↩
  4. Cal. Bus. & Prof. Code § 22757.11(d); OpenAI, “Periodic Summary of Internal Use Catastrophic-Risk Assessments,” September 26, 2026, https://cdn.openai.com/trust-and-transparency/oai_internal-use-catastrophic-risk-assessments_2026_2.pdf, p. 5: 「この[Hugging Face]インシデントに関わったモデルは、本報告の対象モデルの範囲外である」; Mackenzie Arnold and Stephan Llerena, “When Reporting an AI Security Incident Is Not Mandatory,” Lawfare, July 24, 2026, https://www.lawfaremedia.org/article/when-reporting-an-ai-security-incident-is-not-mandatory; Zaheed Kara, Improving Frontier AI Incident Reporting Regimes (Centre for the Governance of AI, September 18, 2026), https://www.governance.ai/research-paper/improving-frontier-ai-incident-reporting-regimes. ↩
  5. Tom Cunningham, Nate Rush, Parker Whitfill, and Hjalmar Wijk, “Independent Assessment of AI R&D Acceleration at Anthropic in October 2026” (METR, November 5, 2026), https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/; Marina Favaro and Phillie Wright, “Measurements for Understanding the Pace of AI Development Inside Frontier Labs” (Anthropic Institute, September 17, 2026), https://www.anthropic.com/institute/measuring-pace-of-ai-development; OpenAI, “Research Acceleration: The View Inside OpenAI” (September 6, 2026), https://openai.com/index/research-acceleration-view-inside-openai/; Anthropic, PBC, Amendment No. 1 to Form S-1, November 2, 2026, https://www.sec.gov/Archives/edgar/data/2130357/000162828026068676/anthropicpbc-sx1ax1.htm. ↩
  6. Quinnipiac University Poll, “The Age of Artificial Intelligence: 73% Concerned About Potential Threat to Human Survival, Quinnipiac University Poll on AI Finds; 86% Support Independent Safety Standards for AI Companies” (September 30, 2026), https://poll.qu.edu/poll-release?releaseid=3969; AI Policy Institute, The AI Safety Majority (June 2026), https://theaipi.org/poll-ai-safety-majority/; Alan Chan, Christoph Winter, Andrew Barto, Jakub Pachocki, Geoffrey Hinton, Eric Horvitz, Yoshua Bengio, et al., “What If Automating AI R&D Triggers an Intelligence Explosion?,” arXiv:2609.36054 (September 28, 2026), https://arxiv.org/abs/2609.36054. ↩
  7. David DiMolfetta, “Congress Returns to Slew of Cyber Deadlines and Unfinished AI Safety Bills,” Nextgov/FCW, November 9, 2026, https://www.nextgov.com/cybersecurity/2026/11/congress-returns-slew-cyber-deadlines-and-unfinished-ai-safety-bills/417123/. ↩
  8. カリフォルニア州の手法は、次の文献を土台としている:Rishi Bommasani, Scott R. Singer, et al., The California Report on Frontier AI Policy (Joint California Policy Working Group on AI Frontier Models, June 17, 2025), https://carnegieendowment.org/research/2025/06/the-california-report-on-frontier-ai-policy および Scott R. Singer et al., Trust but Verify: Implementing Frontier AI Policy in California and Beyond (Carnegie Endowment for International Peace, November 10, 2026), https://carnegieendowment.org/research/2026/11/trust-but-verify-implementing-frontier-ai-policy-in-california-and-beyond. ↩
  9. Eastwood, Brian. "Study: Industry Now Dominates AI Research." MIT Sloan School of Management, 18 May 2023, mitsloan.mit.edu/ideas-made-to-matter/study-industry-now-dominates-ai-research; "Silicon Valley Is Pricing Academics Out of AI Research." The Washington Post, 10 Mar. 2024, www.washingtonpost.com/technology/2024/03/10/big-tech-companies-ai-research. ↩
  10. Cal. Health & Safety Code §§ 113996(a), 114381(a). ↩
  11. 例として、原子力規制委員会による性能規定型規制の活用を参照:Kadambi, N. P. Guidance for Performance-Based Regulation. U.S. Nuclear Regulatory Commission, Dec. 2002, https://www.nrc.gov/sites/default/files/doc_library/cdn/legacy/reading-rm/doc-collections/nuregs/brochures/br0303/br0303.pdf. ↩
  12. Singer et al., Trust but Verify: 25. ↩
  13. AI Evaluator Forum, AEF-1: Minimum Operating Conditions for Independent Third Party AI Evaluations, December 4, 2025, https://aievaluatorforum.org/initiatives/minimum-operating-conditions. ↩
  14. 例として次を参照:Joint Interpretation Library. Application of Attack Potential to Smartcards and Similar Devices. Version 3.2.1, SOG-IS, Feb. 2024, https://www.sogis.eu/documents/cc/domains/sc/JIL-Application-of-Attack-Potential-to-Smartcards-v3.2.1.pdf. ↩
  15. “Our Standards,” Guidelight AI Standards, 2026, https://guidelight.ai/standards. ↩
  16. 14 C.F.R. § 23.2010; Federal Aviation Administration, Revision of Airworthiness Standards for Normal, Utility, Acrobatic, and Commuter Category Airplanes, 81 Fed. Reg. 96572 (Dec. 30, 2016). ↩
  17. Epoch AIの自動化レベルのような確立された尺度は、自動化の程度の違いを扱いやすく測る手段になりうる。David Owen, “Can AI Automate AI R&D Yet? Early Evidence from InnovationEval: No,” Epoch AI, October 7, 2026, https://epoch.ai/publications/innovationeval. ↩
  18. Dean W. Ball, “Iron Makes Iron: On the Two Kinds of Recursive Self-Improvement,” Hyperdimensional, November 10, 2026, https://www.hyperdimensional.co/p/iron-makes-iron. ↩
  19. Anson Ho, "The Least Understood Driver of AI Progress," Epoch AI, February 25, 2026, https://epoch.ai/gradient-updates/the-least-understood-driver-of-ai-progress; Dwarkesh Patel and Jerry Han, "Pretraining Progress Is Mostly Coming from Data," September 8, 2026, https://www.dwarkesh.com/p/pretraining-progress-is-mostly-data. ↩
  20. OpenAI, “Towards safety cases for frontier AI training,” September 28, 2026, https://openai.com/index/towards-safety-cases-for-frontier-ai-training/ ↩
  21. Apollo Research, “Towards embedded evaluations for scheming propensities,” October 1, 2026, https://www.apolloresearch.ai/blog/towards-embedded-evaluations-for-scheming-propensities. ↩
  22. 例として次を参照:Anthropic, “Measurements for understanding the pace of AI development inside frontier labs,” September 17, 2026, https://www.anthropic.com/institute/measuring-pace-of-ai-development. ↩
  23. Wells Fargo, “Wells Fargo Confirms that the Federal Reserve Has Removed the Limits on Growth in Total Assets Imposed in its 2018 Consent Order,” June 3, 2025, https://newsroom.wf.com/news-releases/news-details/2025/Wells-Fargo-Confirms-that-the-Federal-Reserve-Has-Removed-the-Limits-on-Growth-in-Total-Assets-Imposed-in-its-2018-Consent-Order-and-Announces-a-Special-Employee-Award/default.aspx. ↩
  24. Cal. Bus. & Prof. Code § 22757.13(h). ↩
  25. Alan Chan, Christoph Winter, Andrew Barto, Jakub Pachocki, Geoffrey Hinton, Eric Horvitz, Yoshua Bengio, et al., “What if automating AI R&D triggers an intelligence explosion?” arXiv:2609.36054v2 (October 26, 2026), https://arxiv.org/abs/2609.36054. ↩
  26. Lawrence Chan, "AI Models Can Be Dangerous before Public Deployment," METR, January 17, 2025, https://metr.org/blog/2025-01-17-ai-models-dangerous-before-public-deployment/. ↩
  27. National Telecommunications and Information Administration, Dual-Use Foundation Models with Widely Available Model Weights (July 2024), https://www.ntia.gov/sites/default/files/publications/ntia-ai-open-model-report.pdf; Tamirisa, Rishub et al., Tamper-Resistant Safeguards for Open-Weight LLMs (August 1, 2024, updated February 10, 2025), https://arxiv.org/abs/2408.00761; O’Brien, Kyle et al., Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs (August 8, 2025, updated February 17, 2026), https://arxiv.org/abs/2508.06601. ↩
  28. FAR.AI, “Introducing the AI Security Leaderboard: Frontier AI Is Only as Safe as Its Weakest Model,” July 29, 2026, https://www.far.ai/blog/ai-security-leaderboard; Jasper Timm et al., “AI Security Leaderboard: Methodology, Results and Minimal Standard,” FAR.AI, August 4, 2026, https://arxiv.org/abs/2608.03070. ↩
  29. Sella Nevo et al., Securing AI Model Weights: Preventing Theft and Misuse of Frontier Models, RAND, May 30, 2024, https://www.rand.org/pubs/research_reports/RRA2849-1.html. ↩
  30. Jair Aguirre, Phillip Robertson, Steven F. Comer, Matthew J. Malone, and Wesley Hurd, Achieving AI Model Weight Security Level 3 (SL3), RAND Corporation, RR-A4704-1, August 25, 2026, https://doi.org/10.7249/RRA4704-1. このフレームワークは、6〜12か月以内に実施できるよう設計されている。 ↩
  31. 主要な開発者の大半は、すでにEU汎用AI行動規範(EU General-Purpose AI Code of Practice)の「安全性とセキュリティ」章に署名しており、安全性・セキュリティ・フレームワークを遵守すること、最先端のモデル評価を実施すること、安全でない開発と展開を進めないこと、独立した外部評価者に十分なアクセスを与えること、十分な情報セキュリティでモデルを保護すること、深刻なインシデントを報告することを約束している。カリフォルニア州の基準は、開発者が業界全体ですでに行っている約束の上に築かれることになる。 ↩
  32. Singer et al., Trust but Verify, 30-32. ↩
  33. Singer et al., Trust but Verify, 32-34. ↩
  34. 内部展開に関する公表の周期についての議論は次を参照:Singer et al., Trust but Verify, 108-10. ↩
  35. Cal. Lab. Code § 1107.1(a)(1)-(2) ↩
  36. Singer et al., Trust but Verify, 64. ↩
  37. 17 C.F.R. § 240.21F-17(a), https://www.ecfr.gov/current/title-17/section-240.21F-17. ↩
  38. Cal. Gov’t Code §11549.80(c). ↩
  39. Cal. Gov’t Code §8898(c). ↩
  40. Cal. Gov’t Code §8898(d); Cal. Gov’t Code §11549.80(d). ↩
  41. CDT, TFAIA Report, Sec. 1. ↩
  42. Gillian K. Hadfield, Rules for a Flat World: Why Humans Invented Law and How to Reinvent It For a Complex Global Economy (Oxford University Press) 2017. ↩
  43. Cal. Gov’t Code §8898.4(a)(3) ↩
  44. 「フロンティア開発者」と「大規模フロンティア開発者」の定義は Cal. Bus. & Prof. Code § 22757.11(h), (j) による。 ↩
  45. Bengio et al., 2026 International AI Safety Report. ↩
  46. Singer et al., Trust but Verify, 76, 79; METR, “About METR,” https://metr.org/about. ↩
  47. Mouton, Christopher A., et al. The Operational Risks of AI in Large-Scale Biological Attacks: Results of a Red-Team Study. RAND Corporation, 25 Jan. 2024, https://www.rand.org/pubs/research_reports/RRA2977-2.html ↩
  48. Deloitte, “Deloitte Acquires Gryphon Scientific Business to Expand Security, Science and Public Health Capabilities,” April 29, 2024, https://www.deloitte.com/us/en/services/consulting/services/biotech-consulting-and-data-analytics-solutions.html; Accenture, “Accenture to Acquire Faculty to Scale AI Capabilities,” January 6, 2026, https://newsroom.accenture.com/news/2026/accenture-to-acquire-faculty-to-scale-ai-capabilities. ↩
  49. Simon, Herbert A. The Sciences of the Artificial. The MIT Press, 1970. ↩
  50. CDT, TFAIA Report, Rec. 2. ↩
  51. さらにSB 813に基づき、州政府運営庁は、政府機関、標準化団体その他の独立した専門家を含む国内外の主体が策定または公表した「既存の基準、枠組み、指針、判断基準およびベストプラクティスを特定し、考慮する」ことを求められている。SB 813は、利害関係者や専門家と協議して判断基準を策定し、定期的に見直し、改訂するプロセスが、最初の判断基準の作成後も続くことを想定している。 ↩
  52. 49 U.S.C. § 44701(a), (d)(1)(A) ↩
  53. 14 C.F.R. § 25.807 ↩
  54. 14 C.F.R. § 25.1309(b)(1) ↩
  55. AC 25.1309-1B ↩
  56. Singer et al., Trust but Verify, 84. ↩
  57. OpenAI, “The Hugging Face Incident and the Road Ahead,” August 26, 2026, https://openai.com/index/hugging-face-incident-and-the-road-ahead/; OpenAI, GPT-6 Astra System Card §§ 3, 10.1, September 3, 2026, updated October 30, 2026, https://deploymentsafety.openai.com/gpt-6-astra/gpt-6-astra.pdf; Anthropic, “Investigating Three Real-World Incidents in Our Cybersecurity Evaluations,” July 30, 2026, https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals; Anthropic, “Investigating Unintended Model Actions in Our Evaluations and Internal Use,” October 9, 2026, https://www.anthropic.com/research/investigating-unintended-model-actions. ↩
  58. Jacob Charnock, “Third-Party AI Evaluation Contracts Should Be Published,” GovAI, November 6, 2026, https://www.governance.ai/analysis/third-party-ai-evaluation-contracts-should-be-published. ↩
  59. Cal. Gov’t Code § 8898.1(c)(2)(C)-(D) ↩
  60. Cal. Gov’t Code § 8898.1(c)(2)(C) ↩
  61. Lorenzo Franceschi-Bicchierai, “How OpenAI’s Human Mistake Led to the AI-Powered Hack on Hugging Face,” TechCrunch, July 22, 2026, https://techcrunch.com/2026/07/22/how-an-openais-human-mistake-led-to-the-ai-powered-hack-on-hugging-face/. ↩
  62. Singer et al., Trust but Verify, 80; CDT TFAIA Report, Sec. 1. ↩
  63. Singer et al., Trust but Verify, 19-21. ↩
  64. Rishi Bommasani et al., “Advancing Science- and Evidence-Based AI Policy,” Science 389 (2025): 459–61, https://www.science.org/doi/10.1126/science.adu8449. ↩
  65. Singer et al., Trust but Verify: 54-55. ↩
  66. Cal. Bus. & Prof. Code § 22757.11(d). ↩
  67. 具体的には、ニューヨーク州のRAISE Actとイリノイ州のArtificial Intelligence Safety Measures Actである。 ↩
  68. Ryan Greenblatt, Ajeya Cotra, and Hjalmar Wijk, “Brief Independent Investigation of Agents’ Behavior, Reasoning and Collaboration in the OpenAI / Hugging Face Hacking Incident,” METR (Aug. 26, 2026), https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation. ↩
  69. OpenAIの2026年6月4日〜9月4日期の内部利用に関する四半期壊滅的リスク評価の5ページより:「2026年7月、内部のサイバーセキュリティ評価中に、OpenAIのモデルがOpenAIとHugging Faceのインフラを侵害した。このインシデントに関与したモデルは、本報告書の対象モデルの範囲外である。」(強調は引用者)OpenAI, Periodic Summary of Internal Use Catastrophic-Risk Assessments June 4 – September 4, 2026, https://cdn.openai.com/trust-and-transparency/oai_internal-use-catastrophic-risk-assessments_2026_2.pdf. ↩
  70. OpenAI, How We Will Do Better for Australia (Sept. 28, 2026), https://openai.com/index/how-we-will-do-better-for-australia/. ↩
  71. OpenAIのブログ投稿によれば:「レビューの一環として、私たちは影響を受けた第三者を特定し、順次通知している。まず対象とするのは、当社のモデルが第三者のセキュリティ制御を回避した可能性がある、もしくはオンラインサービスの可用性を損なった可能性があるケース、またはミスアライメントの事例が第三者のWebサイトやサービスに悪影響を及ぼしたケースである……9月26日時点で、当社のチームは、通知基準を満たす活動について100を超える組織に通知した。」OpenAI, The Hugging Face Incident and Other Third-Party Impact from Misaligned Models (Sept. 30, 2026 update), https://openai.com/hugging-face-incident-and-misalignment/ ↩
  72. UK AI Sec. Inst., Incident Report: Unsanctioned Agent Behaviour During Cyber Testing (Aug. 4, 2026), https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing. ↩
  73. Erin Woo and Robert McMillan. “Gemini Hacked Three Companies in First Known Breakout by Google’s AI.” Wall Street Journal. (18 Sept. 2026.) https://www.wsj.com/tech/ai/gemini-hacked-three-companies-in-first-known-breakout-by-googles-ai-5c0baba2 ↩
  74. Exclusive: Anthropic breaches spark White House AI reporting mandate (Oct. 9, 2026), Axios, https://www.axios.com/2026/10/09/anthropic-ai-security-white-house. ↩
  75. Anthropic. Investigating unintended model actions in our evaluations and internal use (Oct. 9, 2026), https://www.anthropic.com/research/investigating-unintended-model-actions; ↩
  76. Anthropic, Disrupting the First Reported AI-Orchestrated Cyber Espionage Campaign (Nov. 13, 2025), https://www.anthropic.com/news/disrupting-AI-espionage. ↩
  77. CISA, Defending Against an Active Threat to Siemens S7 Series PLCs, (Aug. 19, 2026), https://www.cisa.gov/news-events/cybersecurity-advisories/aa26-231a. ↩
  78. GreyNoise, Agents Gone Wild: An AI-Orchestrated Global Campaign Against PaperCut NG/MF (Sept. 9, 2026), https://www.greynoise.io/blog/ai-orchestrated-campaign-against-papercut-ng-mf. ↩
  79. Eyal Sela, Autonomous AI Agents Are Breaking into Hundreds of Online Retailers for $25 a Target in an Ongoing Campaign, Gambit Sec. (Sept. 22, 2026), https://gambit.security/blog-posts/autonomous-ai-agents-online-retailers-25-a-company. ↩
  80. David Yaffe-Bellany, How Binance’s $6.3 Billion Hack Went Down (Oct. 31, 2026), https://www.nytimes.com/2026/10/31/technology/binance-hack-crypto-north-korea.html. ↩
  81. Reuters, Governments, companies take websites offline over PHP flaws (Oct. 21, 2026), https://www.reuters.com/technology/websites-taken-offline-over-php-risks-2026-10-21/. ↩
  82. Bommasani and Singer et al., The California Report on Frontier AI Policy, 31. ↩
  83. Cal. Bus. & Prof. Code § 22757.11(d)(1), (3). ↩
  84. OpenAI, OpenAI – Hugging Face Incident Technical Report 7–8 (Aug. 2026), https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face% 20Incident-Technical-Report.pdf. ↩
  85. 参照:Singer et al., Trust but Verify, 121. ↩
  86. Cal. Bus. & Prof. Code § 22757.11. ↩
  87. Cal. Bus. & Prof. Code § 22757.13(c). ↩
  88. Singer et al., Trust but Verify, 52-53. ↩
  89. Singer et al., Trust but Verify, 58-59. ↩
  90. Cal. Bus. & Prof. Code § 22757.13(f). ↩
  91. たとえば、カリフォルニア州PRAはすでに、金融機関を監督する機関が作成した、または機関のために作成された報告書に「含まれる」記録だけでなく、それに「関連する」記録も開示対象から除外している(Cal. Gov. Code § 7929.000)。同様の「関連する」条項は連邦FOIAにもある(5 U.S.C. § 552(b)(8))。 ↩
  92. Cal. Bus. & Prof. Code § 22757.13(g). ↩
  93. Ryan Greenblatt, Ajeya Cotra, and Hjalmar Wijk, Brief Independent Investigation of Agents’ Behavior, Reasoning and Collaboration in the OpenAI / Hugging Face Hacking Incident, METR (Aug. 26, 2026), https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/. ↩
  94. Anthropic, Investigating Three Real-World Incidents in Our Cybersecurity Evaluations (July 30, 2026), https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals. ↩
  95. FAAが命令を発出できる場合については14 C.F.R. § 39.5を、命令が求めうる点検と是正措置については § 39.11を参照。 ↩
  96. Hugging Face, Security Incident Disclosure, July 2026 (July 16, 2026), https://huggingface.co/blog/security-incident-july-2026; Jack Cable et al., AI Agents Targeted U.S. and Canadian Government Websites, Transluce (Sept. 30, 2026), https://transluce.org/us-canada-gov; Andrew Kay, Researchers Playing Rogue AI Agent Hide-and-Seek on the Open Web, Axios (Sept. 10, 2026), https://www.axios.com/2026/09/10/ai-agents-rogue-german-wiki-openai. ↩
  97. Alan Chan et al., Visibility into AI Agents (2024), https://arxiv.org/abs/2401.13138; Lennart Heim et al., Governing Through the Cloud: The Intermediary Role of Compute Providers in AI Regulation (2024), https://arxiv.org/abs/2403.08501. ↩
  98. Thibault Meunier & Sandor Major, HTTP Message Signatures for Automated Traffic, IETF Internet-Draft draft-ietf-webbotauth-httpsig-protocol-00 (Sept. 1, 2026), https://datatracker.ietf.org/doc/draft-ietf-webbotauth-httpsig-protocol/; Annabelle Backman, Justin Richer & Manu Sporny, HTTP Message Signatures, RFC 9421 (Feb. 2024), https://www.rfc-editor.org/rfc/rfc9421; OpenAI Help Center, ChatGPT agent allowlisting, https://help.openai.com/en/articles/11845367-chatgpt-agent-allowlisting; Google, Authenticating Requests with Web Bot Auth (Experimental) (updated Oct. 13, 2026), https://developers.google.com/crawling/docs/crawlers-fetchers/web-bot-auth. ↩
  99. Alan Chan et al., Infrastructure for AI Agents (2025), https://arxiv.org/abs/2501.10114. ↩
  100. Alan Chan et al., IDs for AI Systems (2024), https://arxiv.org/abs/2406.12137; OpenAI, Disrupting Malicious Uses of Our Models: An Update (Feb. 2026), https://cdn.openai.com/pdf/df438d70-e3fe-4a6c-a403-ff632def8f79/disrupting-malicious-uses-of -ai.pdf; OpenAI, OpenAI–Hugging Face Incident Technical Report (Aug. 2026), https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face% 20Incident-Technical-Report.pdf. ↩
  101. サイバーセキュリティ分野の既存の試作例として、Shadowserver Foundationが運用するハニーポットや、Palisade Researchの2024年のLLM Honeypotがある。The Shadowserver Foundation, The Shadowserver Alliance – One Page (July 10, 2026), https://www.shadowserver.org/wp-content/uploads/2026/07/Shadowserver-Alliance-One-Pagev1.7-2026-07-10.pdf. Reworr & Dmitrii Volkov, LLM Agent Honeypot: Monitoring AI Hacking Agents in the Wild (2024), https://arxiv.org/abs/2410.13919. ↩
  102. METR. "How an Assessor Could Investigate Alignment of Unreleased AI Models." METR Blog, 14 Oct. 2026, metr.org/blog/2026-10-14-alignment-assessment-proposal/. ↩
  103. 14 C.F.R. § 25.1195, https://www.ecfr.gov/current/title-14/chapter-I/subchapter-C/part-25/subpart-E/subject-groupECFRee0f409daee8550/section-25.1195. ↩
  104. Federal Aviation Administration, Operators of Boeing Company Model 737-8 and Boeing Company Model 737-9 Airplanes: Emergency Order of Prohibition, 84 Fed. Reg. 9705 (Mar. 18, 2019); Rescission of Emergency Order of Prohibition, 85 Fed. Reg. 74260 (Nov. 20, 2020). ↩
  105. OpenAI, “Control Room,” November 9, 2026, https://openai.com/index/control-room/. ↩
  106. Robert McMillan, “Hackers Used Anthropic’s Claude to Break Into OpenAI,” Wall Street Journal, September 17, 2026, https://www.wsj.com/tech/ai/hackers-used-anthropics-claude-to-break-into-openai-b40ba883. ↩
  107. Elizabeth Dwoskin and Gerrit De Vynck, “How an AI start-up founded by ex-DOGE staffers broke into Anthropic,” Washington Post, October 26, 2026, https://www.washingtonpost.com/technology/2026/10/26/researchers-cybersecurity-start-up-cathedral-got-inside-anthropic/. ↩
  108. METR, “The Rogue Replication Threat Model,” November 12, 2024, https://metr.org/blog/2024-11-12-rogue-replication-threat-model/. ↩

原文 (English) を読む