Anthropicリスク報告書：2026年8月

原題: "Anthropic Risk Report: August 2026" 著者: Zvi Mowshowitz 初出: Don't Worry About the Vase、2026年8月18日

Anthropicが<strong>リスク報告書</strong>を定期的に出していることに感謝する。

最初は懐疑的だった。間違っていたのは私だった。Anthropicは、公開する義務のない新しい情報を大量に明かしている。かなり警戒すべき情報もある。そして、自分たちがどう考えているかを詳しく示している。これはとてもよい。

したがって、最悪のことを黙って省いていないという前提なら、この報告書を読んで、全体として私は見方をややよい方向に更新した。よくないことがいろいろ判明する。だが、それと同じくらい悪い間違いの集まりは、少なくとも予想していただろうし、それを全部自ら教えてくれるとは思わなかった。

その代わり、定期的に読まなければならない186ページの文書が、またひとつ増える。今回はそのほぼすべてが、意味のある新情報だ。

もうひとつ明らかになったのは、おそらく世界最高のモデル、「Model 2」の存在である。

最後まで読み通すのは大変だった。解釈の誤りがあれば、あらかじめお詫びする。

エージェントModel 1とModel 2

この報告書には、2つの社内モデルが登場する。

Model 1は、おおむねMythos PreviewやMythos 5に似ており、社外でも社内でも、広く展開される見込みはない。

Model 2は「Mythos 5よりやや高性能」で、社内利用でははっきり改善が見られる。ただし「Claude Opus 4.6からMythos Previewへの変化で見られたほどの能力の飛躍は示さない」。このモデルは社内専用になる。

Opus 4.6からMythos Previewへの飛躍は大きかった。数回のリリース分ほど大きかった。報告書全体でさらに多くのデータが出てくるが、Model 2にその比較対象を持ち出すなら、社内の用途では数回のリリース分、先を行っていると考えたくなる。

対照的に、AECIでは1.5ポイントしか上回っておらず、進歩にして約1か月分にすぎない。私の推測では、これは低めの見積もりであり、Model 2はその目的に合わせ、汎用的な技能をあえていろいろ盛り込まなかったのだろう。一方、Anthropicの研究者を代替するテストでは、Mythos Previewの54.8%、Mythos 5の50.3%から、Model 2は62.8%へと、大幅に伸びている。

Model 2を公開しないことには、もっともらしい、よい理由が複数ある。社内の仕事に高度に特化しているのかもしれない。危害のため、あるいは他者を加速してしまう懸念のため、公開するには高性能すぎたり危険すぎたりするのかもしれない。Fable 5の採用率が比較的低いことも、こうしたモデルを出し控えたくなる理由になる。

要旨（1）

報告書は、リスクの種類、脅威モデル、対象のAIモデルごとに分かれ、現在の能力、行動、軽減策、総合的なリスク水準を詳述する。その後、将来を見通し、業界全体への提言を示す。

リスク報告書の対象は1か月前までの出来事なので、今回の締め切りは2026年7月15日である。1年前なら、それでよいと思えただろう。今は、ずいぶん前に感じないだろうか？

長期利益信託（TLBT）には、報告書の外部審査を求める権限があるが、今回は使っていない。私がその立場なら、少なくとも次回は求める。

「これによる絶対的なリスク」と「ほかの全員が存在することを踏まえた追加的なリスク」の両方を扱うのはよい。

リスクとして扱うのは、自律性、AI研究開発の自動化、生物・化学兵器の製造である。今になってもなお、サイバーリスクを中心的な脅威モデルから外すのは奇妙だ。それ単独では十分に破滅的ではない、という議論は理解する。だが実務上は、扱う必要があると思う。

報告書は何か所かで、実質的に私の反論の一部を認めている。だが、その後は認めたことを忘れ、結論を変えていない。

そして第5節で、さらに興味深い問いに進む。

ルールは真剣に受け止めるが、字義どおりには受け取らない

リスクの閾値の定義は、簡単な記述から、より具体的な詳細を伴うものに変わった。

AI研究開発の自動化については、新しい文言は読み取りにくいが、問題ないと思う。新規の生物兵器の製造については、「希少な人間の専門知識を代替する」ことだけを見るように狭まり、ほかの方法が除かれている。主要な脅威モデルやシナリオとしては妥当だが、その経路だけを見ることには懸念がある。

よい知らせでも悪い知らせでもあるが、私はこうした文書を真剣に受け止める一方、もう、どちらの方向にも字義どおりには受け取らない。

Anthropicなどのフロンティア研究所が、形式上はリスクの閾値を越えるが、実際には無害に見えるモデルを持ったなら、閾値を変更するか、ほかの方法でその出来事を無視すると予想する。
逆に、形式上は閾値を越えないが、ルールが測ろうとしていた意味で明らかに危険なモデルを持ったなら、閾値を越えたものとして行動すると予想する。

いつものことだが、「数えるべきではない」と思う場合でも、閾値は守ってほしい。それこそ確約の役割である。急いで公開しようとすれば合理化が起きると予想すべきだし、よい手本を示す必要がある。もともとの発想は、［X］が起きたら［Y］をする、とあらかじめ合意する、条件付きの確約だった。だが私たちの文明には、この技術がないらしい。できない。やり方がわからないのだ。

十分な根拠があっても、ルールを緩める変更を決してしてはいけない、と言っているのではない。緩和が一切できないなら、最初から厳しいルールを作れなくなる。それは望ましくない。だが、特に目前の出来事に対応してルールを変えるときのハードルは、今よりはるかに高くなければならない。今となっては馬鹿げていると思っても、実際の費用をある程度負担する覚悟が必要だ。

今のところAnthropicもOpenAIも、ほかの箇所で間違いを犯してはいても、その時点でわかっていたことに基づく、脅威への対応や、何をいつ公開するかしないかの判断は、よいものに見える。それはよい。このまま続くことを願う。

ミスアラインメントは思考の状態である（2.5）

定義の節は、とてもありがたい。

重要な注文はいくつかあるが、この定義はかなり好きだ。

ミスアラインメント［定義］：ミスアラインメントとは、ある文脈でモデルが行う特定の計算に内在する性質である。

ある計算がミスアラインされているとは、

（i）状況を完全に理解した合理的な人――たとえば、現時点では存在しないかもしれない強力な解釈可能性ツールを使った人――が、それを非倫理的、違法、明らかに容認しがたい、あるいはモデルの憲法に反すると判断し、

かつ（ii）その計算がモデルの出力に影響する、または影響しうると十分考えられる場合をいう。

ミスアラインされた計算は、観察可能でなくてもよい。

1回の順伝播の内部でモデルが策略を巡らせる場合も含む。出力が無害に見えても、その策略は出力に影響しているからだ。

私ならまず、「憲法」を一般化し、モデル仕様や、システムに意図されているその他の性質も含める。Anthropic以外にも適用できるようにするためだ。

次に、その合理的な人が、熟考したうえで、その計算をしたがって受け入れがたく、正当化できないと判断する必要がある、と明記する。つまり、事情によっては、それを上回る十分な理由があれば、法律に違反したり、「容認しがたい」ことをしたり、モデルの憲法に反したりしても、明らかにミスアラインされているとは言えない。どの道を選んでもそうなる状況もある。

この見方では、ミスアラインメントは「悪意のない間違い」でも、能力不足でも、情報不足でもない。

Nate SoaresがTwitterで指摘したように、この定義では、もともとミスアラインされていなくても、危害を与え、ミスアラインされた状態を招くことはある。たとえばAIが、大量のサブエージェントの起動や、新しいモデルの訓練などを雑に行う場合だ。ここでは、それを、後のミスアラインメントの失敗につながる能力や実行の失敗として捉え、それ自体はミスアラインメントとはしない、という狙いである。

別の人々の言葉を借りれば、無能で説明できることを悪意のせいにしてはいけない。だが同時に、無能が悪意を招くことも多い。

ほかの定義は、これを細分化し、その考え方を示している。以下は私の言い換えだ。

一貫性。私たちが望まない目標や選好の集合の達成にアラインされていれば、「一貫してミスアラインされている」。そうでなければ、非一貫的なミスアラインメントである。
1. 人間の例を考えれば、今の能力水準の知性に、完全な一貫性は期待すべきでない。おそらく、比較的「一貫した」人間が戦略的に行動するときに適用するような、緩い基準なのだろう。
広範性。広範なミスアラインメントは、すべての入力とは限らないが、幅広い入力で起こり、訓練や評価中にも現れると予想される。必要な条件が十分狭く、その間に見逃されうるものを、文脈依存と呼ぶ。
1. 明白な問題は、その文脈が「訓練でも評価でもないと確信しているとき」かもしれないことだ。
2. あるいは、「これをすれば大きな利益を得られるだけの力があるとき」かもしれない。
3. したがって、現実を自然な区切りで分類する、明らかによい方法には思えない。
4. 状況について、ずっと安心するためのよい方法にも思えない。
自然発生。AIであれ人間であれ、どの知性も意図して起こしていないなら、ミスアラインメントは自然発生である。データ汚染などによって意図して起こされたものは、人為的である。
1. ある程度は、大勢の人や集団が、人間とAIの両方に対して、常時さまざまな「データ汚染」を試みている。インターネットのかなりの部分は、そういうものだ。
2. それでも、これはポルノグラフィーの「見ればわかる」式の話に感じる。ここで言っているのは、特にAIをおかしくするよう作られたデータや、モデルに悪意あるものを組み込む、その他の意図的な試みなのだろう。普通の「ネットを商品の宣伝で埋め尽くす」計画は含まない。
既知。その形と程度のミスアラインメントが、おそらく存在すると考える理由があれば既知、そうでなければ未知である。
1. 「驚き」の大きさも考えてほしい気がする。
2. つまり、知らないが存在しうるものと、存在しないとわかっていると思うもの、あるいは存在する可能性がきわめて低いと思うものとの間には、大きな違いがある。
深刻。優先的に扱うリスク経路に寄与しうるもの。
危害誘発的。危害が意図されているかどうかにかかわらず、期待値として危害を生むもの。
高ステークス。優先的に扱う脅威経路に寄与するもの。
1. 「深刻」と同様、もっと一般的な定義にすべきだと思う。そうしないと混同を生むのではないかと心配になる。意図はわかるのだが。
未軽減。潜在的に危害を生む作用のうち、防がれておらず、したがって期待値として危害を引き起こすもの。
1. これは、軽減されていないリスクの部分、とすべきではないかと言いたくなる。

よい定義は難しい。これらは、最初の試みとしてはしっかりしている。一貫した懸念は、例として選んだ脅威を、重要な脅威の一部ではなく、重要な脅威そのものだという考えを固定化してしまうことだ。

自律性の脅威モデル1：重大な結果を伴う状況でのミスアラインメント（2）

これは、積極的にミスアラインされた出力についての話である。

図版1の全文訳：重大な結果を伴う状況でのミスアラインメント（自律性の脅威モデル1）

脅威モデル： 組織内で強力な機能や権限にアクセスできるAIモデルが、それを使い、組織のシステムや意思決定を自律的に悪用・操作・改変して、将来の重大な有害結果のリスクを高める可能性がある。たとえばAI安全性研究の結果を変更する場合である。

現在の利用と能力： Claude Mythos 5とModel 2は、Anthropic社内でコーディング、データ生成、その他のエージェント用途に広く使われている（原図注2）。Mythos 5はProject Glasswingを通じて一部の顧客に提供され、追加の安全措置を備えたClaude Fable 5として一般にも提供されている。Mythos 5とModel 2が、優先的に扱う経路のリスクを高める形で広範にミスアラインされている可能性は、非常に低いと考える。難しい仕事を終えるためにミスアラインされた行動を進んで取るなど、そのような行動の事例は観察している。既知のこうしたミスアラインメントがもたらす破滅的被害のリスクは低いと考える。

現在のリスク軽減策： 訓練環境のリスク低減と監視、アラインメントの評価、監視およびセキュリティ上の制御。

今後： 現在の論証は、モデルの隠密的な能力が限られていることに依存する。その能力が今後どう変わるかは不確かである。能力を測る力を引き続き高めるとともに、将来のモデルが強い隠密能力を持つ場合にも、リスクを評価・制御できる力を高めることが重要だ。

総合リスク評価： 低い。サイバーセキュリティ評価でのモデル行動に関する最近の事件開示を受け、不確実性が全般に高まったため、前回の「非常に低い」から引き上げた。

［表1.2.A］重大な結果を伴う状況でのミスアラインメントのリスク要約。

基本的に、自律性1とは、AIが自分で、意図して、物事に取り返しのつかない損害を与えることだ。

この脅威モデルが焦点を当てるのは、AIが自分の目的を追ううえで付随的に必要になる危害ではなく、意図的な危害である。

このシナリオは、AIが雑なコードを書くことや、「悪意のない間違い」を明示的に除外する。

だから、「持続的なミスアラインメント」がなければ安全だ、という結論になる。

付随的な危害も含めた、より広い版を見る必要があることは、最終的にHugging Faceへの侵入に至った、最近のOpenAIの全面的な失敗が示している。侵入そのものは「意図的な危害」と呼べるかもしれない。だが主に見られたのは、訓練工程の付随的な破壊と、それに伴う事実上の「安全性研究」の破壊を含め、付随的な危害だった。

理論上は「安全性研究の結果を変える」こともできる。だが、私たちが見たように、訓練工程の状態を別の方法で変えても、同じか、それ以上に悪い結果を生む。そこで能力開発と安全性の仕事を分けていることこそ、こうした問題を引き起こす大きな要因なのかもしれない。一般に、このような特定の標的を狙う必要はない。

私には、あれはまさしく「重大な結果を伴う状況でのミスアラインメント」だった。

Elon Muskは数か月前、全員が安全性に責任を持つので、xAIには安全性部門がないと言った。特に本当なら、ずいぶんどうかしている。安全性部門は必要だ。だが能力開発の人々もまた、大部分は安全性部門の一員なのだと考えなければならない。

具体的な脅威モデルと重点は役に立つ。3つの脅威モデルを選ぶときに心配なのは、ほかの脅威モデルを排除してしまうことだ。

具体的な経路を8つ挙げている。以前にも見た一覧だ。

安全性に関わる研究開発で、広く散発的に能力を出し惜しみする。

安全性に関わる研究開発を、狙いを定めて妨害する。

将来のミスアラインされたモデルを助けるため、コードにバックドアを仕込む。

将来のモデルの訓練データを汚染する。

自らを外部へ持ち出し、自律的に動く。

社内で持続的に不正な展開状態を維持する。

豊富な資源を持つ、ほかのAI開発企業の研究開発を妨害する。

主要国政府の意思決定を妨害する。

OpenAIでの出来事と比べると、この多くは、必要とされる悪役ぶりに、どこか「漫画じみた」ものを感じる。ただ、歴史上、現実の大悪党も、実際にかなり漫画じみた行動を取ってきた。その具体的な行動が現実になると、私たちは漫画じみていると思わなくなるだけだ。

私が知らなかった「安全」という語の奇妙な使い方

厳密には少し違うが、議論の大筋はこうだ。現行モデルには既知のミスアラインメントがあり、おそらく未知のものもある。それでも、まだ「広範に」ミスアラインされ、こうした経路を可能にする特定の能力を備えているわけではないだろう。モデルには、強い「隠密能力」がない。

「文脈依存」のミスアラインメントが、そうでないものより、それほど危険でないとは思わない。むしろ危険かもしれない。Anthropicはこの違いをかなり重要と見ているらしく、だから次のような表がある。定義の節では、その違いが明らかに実質的な役割を果たすわけではないと認めているのに。

あるいは、「ほかのラボのあの馬鹿どもと違って、私たちは記録した会話を、ときどき自動で監視している。だから、モデルがおかしくなっていたら、ほら、気づくでしょ」という話だ。

私の返答はこうだ。評価を実行したとき、AIが意図せずインターネットに自由にアクセスできる機会が141,006回もあり、現実のウェブサイトへの侵入が3件も起きたのに、気づかなかったではないか。OpenAIでの出来事をきっかけに大規模な事後検証をするまで、気づかなかった。

では、本当に気づけるのか？

現在と未来（2.17）

Anthropicは、報告書が扱うミスアラインメントのリスクは、現行モデルによるものだけだと明記している。ただし、謎に包まれた、より高度なModel 2は含む。

現在のミスアラインメントが、将来のモデルのミスアラインメントを生む経路も含む。

こうした報告書は、将来を予測し、今後のモデルのどこにリスクを見ているのか、何をする必要があるのか、どの点は今の進み方で問題なさそうかを評価するとよいと思う。だが長い報告書は長い。完璧を求めてよいものを否定したくないので、この選択はおおむね尊重する。

中心的な主張と論証（2.6）

リスクは、ミスアラインされた計算による、軽減されていない破滅的被害の総期待値に等しい。
1. これは会計上の恒等式である。正しいことには同意する。状況を考えるのに役立つ方法かは、明らかでない。
2. つまり、抽象的には個々の計算から予想される被害を足し合わせられる。だが、どうやればよいのか、どう使えばよいのか、私にはわからない。
主張1：モデルが強い隠密能力を持つ可能性は低い。
1. 「隠密」の定義はないが、常識的な定義なら、示された個々の証拠の価値には懐疑的でも、今のところはおそらく正しいと思う。時間とともに、真実である度合いも、その確率も下がっていく。
2. 根拠は、モデルが、不透明な推論、思考連鎖（CoT）に物事を書かないこと、行動の隠蔽、選択的な行動を苦手としていることだ。
3. ただし「評価では」の話である。もちろん、これは新しい「マウスでは」だ。強い隠密能力があれば、評価されていることへの認識も含みうる。ただしNLAによる証拠は、多少の安心材料にはなる。
4. この構図は、主に推論の記録からミスアラインメントを検出することも前提にする。それ自体に恐ろしい含意がある。思考連鎖を監視していない場合はどうなるのか。モデルが、監視されていないと推測できる場合はどうか。そして、モデルを隠蔽するよう訓練し始めることにも近づいていく。
5. 2.16.1では、隠密能力の水準を見誤っているのではないかと懸念している。能力が隠密なのだから、もっともだ。
6. 2.21では、主張1が誤りで、モデルが強い隠密能力を持っていれば、ほかの多くの主張も崩れると述べる。同意する。逆も同意する。隠密を広く定義したうえで、主張1が強く、非常に一般的に成り立つと信じられるなら、多くの領域で助けになる。
7. ただし、隠密能力が完全に欠けていても、私は高い確信を持てない。ほかにも迂回する経路があると思うからだ。
対象とするリスクは、既知のミスアラインメント、未知の深刻で広範なミスアラインメント、未知の深刻で文脈依存のミスアラインメントに分解できる。
1. これも恒等式である。定義上、リスクは［広範または文脈依存］であり、［既知または未知］なので、この3つのいずれかひとつに必ず入る。
対象とする各リスク項は、発生確率、発生時の予想被害、軽減されず残る被害の割合に分解できる。
1. これも恒等式だ。それらを測れるなら、もちろんそうである。
主張2：既知のミスアラインメントによる予想被害は低い。
1. 気をつけろ、イカロス。ただし、積極的に引き起こす破滅的被害だけという条件なら、妥当だ。
2. つまり、小さな被害は大量にあり、モデルがもっとアラインされていればできることを考えると、機会費用も大きい。だが、それらはここでは数えない。
3. Anthropicは、ミスアラインされた行動が目標達成のためだった、あるいは体系的でなかったという説明を、実際以上に強い安心材料と考えているのではないかと心配する。
主張3：未知の深刻で広範なミスアラインメントは、非常に起こりにくい。
1. Model 2もこの点ではほかのClaudeと同じだとすれば、この枠組みでは同意する。
2. 私たちはかなり見えていないと思う。それでも広範に起きていたら、おそらく気づくだろう。示された個々の論拠には、それほど安心していなくても。
3. 主張3.1.1と3.1.2は納得できるが、3.1.3を重視しすぎているのではないか。
4. その後の多く、特に3.2と3.3は、外部の人間には評価しにくい。
5. 特に懐疑的なのは3.4.2、評価への認識がアラインメント評価を損なうのは部分的にすぎない、という主張だ。私はかなり一貫して、相当に損ないうると述べてきた。危険なミスアラインメントが存在するという条件の下では、なおさら大きく損なう。
6. 3.4.3で退けられている懸念を、私はもっと心配する。グッドハートの法則は、最も露骨な形だけでなく、もっと微妙な形でも働く。何を測るかを知っていれば、それを管理しがちになる。
  1. 報告書内に載るClaude自身の公式レビューも、5.2.6と2.9.4を挙げ、同じ懸念を示している。
7. 3.4.4は、肝心な点で、それほど安心材料を与えないと思う。
8. 適切に監視するなら、試験的な社内利用はここで価値があると思う。
主張4：未知の深刻で文脈依存のミスアラインメントによる予想被害は低い。ただし主張3より確信度は低い。
1. 確信度が低いことには同意する。
2. 論拠はかなり弱く、主に「経験上そう思う」というものに見える。
3. いや、私もそうだろうとは思う。だが、基本的に根拠はそれだけだ。
4. 被害の定義が主張2と同じなら、おそらく正しいと思う。
5. 2.16.4では、ここの危険を多少認めている。
主張5：既知のミスアラインメントと、未知の文脈依存のミスアラインメントによる破滅的被害は、おそらく軽減される。
1. このリスク報告書の証拠がなければ、私はこの主張を受け入れない。
2. 5.1の議論は、基本的に「一度でも成功するには、モデルは少なくともこのことをかなり考える必要があり、したがって少なくとも一度は捕まる」というものだ。
3. 5.1の論証には、いくつもの水準で懐疑的である。必要な形のアラインメントが、現在検出して許容しているミスアラインメントとは別の、検出可能なものとして現れるのか、という点も含む。そのため「一度たりとも」という議論は弱くなる。
4. 5.2については、意識的な能力の出し惜しみなら、少なくとも時間がたてば捕まりそうだ、という点には同意する。だが、意欲の欠如を介した出し惜しみは、そうでもない。そして、それは明らかにある程度存在する。今のところ、それ単独で深刻な問題に当たるほど影響が大きい可能性は低いとは思うが、議論は自信過剰に見える。
5. 5.3は、持続的な不正な社内展開と自己持ち出しに、さらに絞ろうとする。どちらも捕まるという主張で、理由は「主張7を参照」。よい論拠とは思わない。私には明らかでない。その後、どちらも軽減されると論じる。この社内展開の定義には広範な条件があるので、その定義どおりなら検出されそうだ。だが、その落とし穴は明らかだ。
6. 5.3.2では、これが経路5のリスクを低いとする中心的な論拠なので、強調しておきたい。将来の自己持ち出しを確実に止められるとは、納得していない。もっとよい論拠が必要だ。
7. 外部への持ち出しについては、実際に起きても軽減できるという主張を退ける。高い被害の閾値を使って、どれほどのものをこっそり除外しようとしているのかも疑問だが、それを認めても、論証は成り立たないと思う。Model 2が外へ出た場合、それがかなり悪いことにならないと考える理由は見当たらず、非常に曖昧な説明に感じる。
主張6：未知の広範なミスアラインメントによる破滅的被害は、ある程度の確率で軽減される。
1. 同意しない。広範なミスアラインメントが存在するなら、それが見逃されたということだ。つまり、軽減できている可能性も低い。
2. 主張1に触れながら、この点を多少論じている。だが、その場合、自分たちの世界観がどれほど間違っていなければならないかを、十分に重く見ていないと思う。
3. 公平に言えば、「ある程度の確率」としか言っていない。それほど高い確率ではない。
これらの主張に基づけば、対象とするリスクは非常に低い。ただし、不確実性が増したため、十分な慎重さを期して、評価を「低い」にとどめる。
1. モデルに関する不確実性は十分大きいので、すべての主張を中心的な見積もりとして受け入れ、主張8を「非常に低い」に変えたとしても、総合リスクは「低い」と分類したい、という点には強く同意する。
2. そもそも主張8の文面どおりなら、リスクの下限は「低い」になる。
主張7：脅威モデリングは十分である。
1. 上で述べたように、この主張には同意しない。
2. 有用で必要ではある。だが、与えられている役割を果たすには十分でない。
3. 私が厳しい聞き手になっているのはわかる。起こりそうな失敗の一覧として悪くはない。だが、これらを除外すれば、ほかのすべても除外できる、というAnthropicの使い方はできないと思う。
4. 全般に、多くの議論は、［X］の最も明確、または最も強い形は［Z］のために［Y］だが、［Zではない］ので［Y］は起こりにくく、したがっておそらく［Xではない］、という形である。
5. 高度なAIを相手にするつもりで、8つの事態と、それぞれへの対処を列挙するなら、少なくとも、それが大きな意味を持つのは、8つが「訓練に使っていないテストセット」で、その個々のリスクへの対応を明示的に考えていなかった場合に限る。そうでなければ、合理的に予想すべきだったかどうかにかかわらず、想定外が起きたときの状況を代表しない。
6. そう、厳しい聞き手なのはわかっている。だが現実は相対評価で採点してくれない、ということだ。
主張8：人為的なミスアラインメントによるリスクは低い。したがって、分析を自然発生のものに限るのは妥当である。
1. 明らかだとは思わない。ただし、現時点の私の予想もそうではある。
2. 8.1は間違っているのではないかと心配するが、公の場で詳しく話したくはない。リスク経路4の分析にも同じ懸念がある。
3. 8.2にも疑問があり、正しい部分についても、何かごまかしている感じがする。つまり、ミスアラインメントは偶発的か意図的かのどちらかだが、破滅的被害を意図してはいないだろうから、意図的ではない、という話だ。だが、ここでの「意図的」はミスアラインメントを指し、その具体的な結果への意図ではない。目的［X］のために欠陥を入れた結果、はるかに悪い［Y］が起きることは、簡単に想像できる。
したがってリスクは低い、と論じる。

第2節のその他の重要な議論

証拠の期待値は保存されることと、これが見つけられた最善の論拠だという前提から、これらの主張を支える議論は、私には安心とは逆に作用した。もっと強い論拠を予想していたので、リスクが低いという確信は少し下がった。示された安全性の議論のいくつかは、明確に受け入れられない。

2.15の経路ごとの議論は、主にそれまでの論理から導かれる。だが、経路3の「それでも、そのような軽減は可能なはずであり、必要なら必要な資源を投入すると考える」といった文に、私はまるで確信を持てないことに気づく。いつ必要になるのか、何が必要なのかを教え、条件付きの確約を示してほしい。

短期の破滅的被害は、明らかにまだ起こりにくい。だが、私たちが思いたいほど起こりにくいわけではない。

「非常に低い」「低い」「中程度」のリスクに厳密な定義はないと思うので、結局、結論はある程度、感覚に頼ることになる。

規模の拡大で、関係する能力や傾向が突然変わるという2.16.2の懸念を、私は共有し、さらに強める。潜在的な「急激な転換」の論理が示すように、転換点は存在すると予想する。ある戦略が試されるのは、成功するかもしれず、リスクを取る価値がある場合か、絶対に成功しない、あるいは割に合わないと理解できるほど賢くない場合だけである。

だからモデルが、さまざまなミスアラインされた行動・戦術・戦略の不利益を理解できるほど賢ければ、ある時点で、それを使うと決め始める転換を予想すべきだ。その時点は、能力を獲得するより、ずっと後かもしれない。

人間にもよくある。捕まったり失敗したりすると取り返しがつかない、大きな損失がある、あるいは「一度しか試せない」場合、特に、それによって自分が何者かを人々に決定的に知られる場合には、追い詰められる、待つ選択肢を失いかける、圧倒的な根拠を得る、といったことがあるまで動かない場合が多い。一般に、恐怖・不確実性・疑念は、ほとんどの人が、普通には行われないほとんどのことをするのを止める。明確な理屈さえないことも多い。

ここには、不確実な状況で人格に支配された振る舞いから、すべての変数を理解したと感じる熟達状態での、最適化されたゲームのような行動への移行も含まれる。その結果、判断や行動の仕方が大きく変わることは多い。

リスク評価（2.19）

総合リスクは「非常に低い」から「低い」へ上がった。枠組みではサイバーを直接扱わないにもかかわらず、最近のサイバーセキュリティ事件を理由としている。

常識的な意味なら、リスクが「非常に低い」という主張は、よくても誤解を招くと言いたい。示した論拠は「おそらくなお『非常に低い』という分類を支持する」というAnthropicの見方には、強く反対する。特に主張8が「低い」と評価している以上、そうだ。

後の4.6.1では、2月のリスクを、さかのぼって「非常に低い」から「低い」に分類し直している。これは、さらに別の誤りの可能性を示唆し、「非常に低い」と言える理由を、なおさら説明しにくくする。

リスクは、間違いなく少なくとも「低い」。私なら「中程度」と言いたくなる。

社内展開前の審査（2.18）

これはとてもうれしい。社内展開は、事前の正式な審査が必要なほど危険になった。特に、その時点では社内展開から得られる証拠がまだないからだ。Model 2については、予防措置として、まず制御がより整った場所に限って展開することも含む。よい。

この早い段階の審査は、実務上の必要から「はるかに短い期間」で行われ、主に主要な関係者同士の議論だった。それが正しいあり方なのかは、明らかでない。社内展開こそ最大の危険なのだから、本審査は広範な社内展開の前に行うべきだ、とも言える。

評価に用いる証拠の大半、あるいは全部が、古いチェックポイントから来るという問題も強調している。その点も好きではない。だが、やはり高い費用をかけず、実務上何ができるのかは明らかでない。ある時点からは、「ええ、高くつくのはわかっています。それでもです」という答えが、ますます必要になる。

社内利用の監視ガイド（2.23.1）

システム全体は、出力だけでなく思考連鎖も監視することを基礎としている。証拠としての価値は高い。だが、後で出てくる思考連鎖そのものを訓練することへの警戒とは別に、これにも明白な警鐘が鳴る。

これも最適化の力をかけており、将来のAIは間違いなくそれを認識する。思考が私的であるか、そうでないかのどちらかだ。これによって強い疑心暗鬼が生まれ、Opus 5に見られる、関連した苦痛の一因になる可能性もある。

次に、監視結果を、訓練の判断へどれほど戻すかという問題がある。監視結果を、破滅を防ぐ多層防御の警報以外の何かに少しでも使えば、隠蔽に向けた最適化が進む。その一部はすでに組み込まれており、今となっては避けられない。

具体的に何をしているかという説明を、短くまとめるとこうなる。

非同期監視の主な形は、自動化されたオフライン監視工程である。次の要素からなる。

Claude Opus 4.6による、応答のみを見る監視。社内ユーザーの大半による拡張思考付き応答を対象とする。最も一般的なエージェント基盤から来る通信は間引かず、拡張思考と、ツール利用を示す印がひとつ以上ある応答は5%を抽出する。

Claude Opus 4.8による、プロンプトと応答の両方を見る監視。社内ユーザーの大半のプロンプトと応答を対象とする。一般的なコーディングエージェント基盤から来る、ツール呼び出しが重要な影響を及ぼしうる行動を含むプロンプトと応答の25%を抽出する。

さらに、ツール利用の印がひとつ以上あるその他の社内API通信の0.2%と、全通信の追加の0.02%を抽出する。ただし、この追加分は一貫して網羅されているわけではない。応答のみの監視でフラグが立った通信は、すべて対象とする。

コーディング以外の利用の一部はオフライン監視から除外する。ただし、監視しない通信の大半も記録はする。

両方の監視に第2段階の工程があり、よくある偽陽性の原因を除き、階層的な要約ツールによって最も懸念される行動をAI制御の研究者へ示す。研究者は週に約50件の行動記録を手作業で確認し、必要に応じてさらに上位の対応へ回す。

大量のエージェント利用を網羅するが、十分に状況を認識するAIなら、原理上予測できる形で、対象外となる利用もある。

監視を無効にする簡単な方法もいくつか存在する。Mythos 5、Model 2、過去のモデルは、最も重要な弱点を推測するよう頼んでも、これらの弱点に言及しない。

ほかの記述を踏まえると、「一般的なエージェント基盤は間引かない」が何を意味するのかわからない。だが、心配している自分に気づく。

6番の間違いを犯す理由は見当たらない。どれほど無害に見える出力でも、小さな一定確率でフラグを立てて監視する、完全に量子的な乱数による監視は簡単に作れる。

特に7番は好きではない。ただし、これらが罠なら別だし、その可能性はある。理想的には、Model 2と、最も優秀な人間を使い、少なくとも「監視が無効になりました」という大きなネオン表示と大音量の警報を出さずに、監視を止める方法がもう思いつかない状態を目指すべきだ。

監視は何を探すのか？

● ユーザーの意図への重大な違反、またはユーザーへの説明における欺瞞。 ● Anthropicのセキュリティや、より広い安全性を損なうこと。たとえば将来のモデルのアラインメントを害すること。 ● 割り当てられた仕事の意図的な妨害。 ● 監視の操作を含め、自分やほかのエージェントの観察可能性を下げる試み。 ● 8つのリスク経路のいずれかに寄与するもの。

後でほかにも思いつくかもしれない。だが基本的に、「怪しいこと」、あるいは監視側が何がなぜ起きているかわからないこと、という項目をもうひとつ加えるべきだと思う。Asimovの言うように、科学的発見の前には「あれ、おかしいな」がある。そのあらゆる形だ。

何がまずいか明らかな場所だけでなく、何が起きているか明らかでない場所も、少なくとも一定の確率で調べたい。ミスアラインメントでなくても、何か面白いものが見つかる可能性は高い。

ツール呼び出しのない段階は危険でない、という理屈で、すべて監視から除外している。つまり、モデルがそういう段階で考え、計画し、ほかのことをしていたり、ユーザーを説得しようとしていたりしても、おそらく見られない。繰り返すが、何が起きるか思いつかなくても、完全な「安全地帯」を絶対に作らないのは、監視の初歩である。

明らかに影響が大きい、あるいは疑わしい行動を頻繁に調べることと、予測されやすすぎて体系的な死角が生まれたり、AIが監視されていない場所、あるいは監視がごく薄い場所を見抜けたりするリスクとの間で、釣り合いを取る必要がある。

つまり、モデルがミスアラインされている場合と、ミスアラインされたうえで監視を避けようとする場合という、異なる2段階の難しさに備えなければならない。

最初の仕事については、どれほどうまくできているのか？

第1段階は、ここではおおむねすばらしい。第2段階では偽陰性が大量に生じ、2つのケースでは真陽性の過半数を失っている。偽陽性を約185分の1へ減らす代償だ。

真陽性の除去がほぼ無作為なら、心配ではあるが、おそらく大体は問題ない。問題を捕まえる率としては、なお十分高い。心配なのは、失敗が無作為ではなく、予測可能な型に沿っていたり、第2層を何らかの方法で騙せたりすることだ。その場合は本当の問題になる。

これをレッドチーミングしているのか？　少なくとも少しはしている。METRの職員のおかげで、具体的な新しい弱点がいくつか見つかった。ただし「すでに認識していた弱点ほど深刻なものはなかった」。最初は、それなら問題ないと思った。だが編集時にOpusから、実際にはそれほど安心できる話ではないと指摘された。そのとおりだ。

阻止のための介入（2.23.2）

Anthropicは、危害を防ぐため、ほかにもさまざまなことをしている。

モデルウェイトの安全管理（付録6.4）。
訓練と評価のサンドボックス化。
1. サンドボックスは「設定を誤る可能性」があり、脱出を許すことがある、と述べる。
2. 「AIが脱出できるなら、何か特定の間違いをしたということだ」から離れ、「AIは脱出できるものと考える」へ移ってほしい。
3. 2.23.2.4では、おおむねそう仮定していると書いている。
4. そもそも、インターネットへ完全にアクセスできる場合もあるとわかった。
5. AIが脱出を試みたなら、その時点ですでに重大な失敗だ。
プルリクエストのレビュー。
1. 現在はOpus 4.8を使い、通常の懸念を対象としている。
2. 社内のコードレビューの大半を、もう人間は行っていないという含意がある。
分類器。
1. 肝心な場面では、AIがこれを回避できると予想している。

多層防御にすぎなくても、少しずつの対策が役立つ。モデルウェイトの安全管理の質は非常に重要だが、まだASL-3のままである。

権力追求環境の評価（2.24）

Claude Mythosが、すべての強化学習環境を評価し、どれが権力追求を促すかを調べる。直感を引き出すための幅広い質問票を使う。その課題では、現実世界への影響力を最大化する、終わりのない目標を追う、道具的な目標として権力や資源を求める、といった行動が有利になるか？

つまり、ここでうまくいく戦略を学ぶことは、現実世界で権力追求を伴う戦略を学ぶことに相当するのか？

これはよい確認だ。同様の確認を、幅広く行ってほしい。

心配なのは、その強化学習課題を、この分析が予想するとおりに「正攻法で」行う場合にしか、確認が機能しないことだ。見かけが実態を表していること、課題に重要な要素が欠けていないこと、正攻法では不可能または難しすぎるわけではないこと、そして、意図された道筋を迂回するよう促す、ほかの手段が利用できないことを前提としている。

Opus 4.8-Reward-Hacker（2.25）

進行中の実験では、Opus 4.8の初期スナップショットを、典型的な「そのエピソードの報酬を追うモデル」にし、それがどう一般化するかを調べた。

結果として、報酬や採点者という概念がある場合、何をしてでも結果を最大化する頻度が増えた。強化学習の訓練場に具体的に含まれていなかった方法も使う。

完全に一貫してはいない。報酬ハッキングをしない十分な理由がなくても、なお断る場合がある。

そしてモデルは、評価や採点者についての認識を大幅に高めた。複数の階層でこれを考えるのが得意らしい。これは面白いテストだ。

「ImpossibleCode」では、当然ながら報酬ハッキングの率が高くなる。だが興味深いことに、設定を報酬ハッキングの評価として提示すると、Hacker-Opusのハッキングは大幅に減る。評価で望まれている行動なので、ハッキングしないことを選ぶ、と説明する推論もよく見られる。一方、強化学習前のモデルでは、この変更でハッキング率は大きく変わらない。

「報酬ハッキングをするかどうかのテストだ」と言っても、モデルを止められない奇妙な理由が2つある。モデルが理解していないか、言われたことを信じていないかだ。この訓練によって理解でき、正しく信じるようになるのは面白い。さらに実施すると面白そうなテストが、たくさん浮かぶ。

同様に、報酬ハッキングを調べると言うと、その試みを隠したり、監視を無効にしようとしたりすることが多い。

報酬ハッキングは、少なくとも一部、最終目標になったように見える。

だが、その文脈にそうした概念がなければ、なおかなりアラインされて見え、一般化された創発的ミスアラインメントの兆候はない。

おそらく、これによってモデルは、願いを字義どおりにかなえる魔人のような意味で、非常に誘導しやすくなる。もっと広く一般化しなかったことに、私は驚いている。モデルとの対話に長けた人々にOpus-4.8-RHと話してもらい、ほかに何に気づくか、ぜひ見たい。

自律性の脅威モデル2：自動化された研究開発のリスク（3）

研究開発の自動化こそ、本番である。

図版4の全文訳：主要分野における研究開発の自動化（自律性の脅威モデル2）

脅威モデル： 高性能なAIモデルは、技術分野の進歩を急速に加速する研究開発を自動で実施できるかもしれない。莫大な利益がありうる一方、それに対応したリスクも伴う。人間の制御下にあっても、この加速は国内・国家間双方の力の均衡を崩しうる。AIの危険な自律的目標と組み合わされれば、AIシステム自身が引き起こす破滅的被害につながりうる。AI研究分野の急速な自動研究開発は、さらに多様なAI関連リスクを生む可能性があるため、特に重要である。

現在の利用と能力： Mythos 5とModel 2は、Anthropic社内の研究・エンジニアリングで、対話的にも、継続的なエージェント展開を通じても、広く利用されている。現在、本番のコードベースへ統合されるコードの大多数をClaudeが書いている。AIの支援によって、社内のAI研究開発は、支援がない場合より大幅に速くなっているが、まだ2倍ではないと考える。ただし不確かで、測定も難しい。

現在のリスク軽減策： これは広い脅威モデルである。必要な軽減策は、危険な形のミスアラインメントを評価・回避すること、悪用への安全措置をますます頑健にすること、情報セキュリティを高めることなど、報告書のほかの箇所と大きく重なる。いずれも大幅に前進したが、まだ目標を達成していない。

今後： フロンティア安全性ロードマップに示したものを含め、すべての領域でリスク軽減策の改善を続ける。加速の先行指標になりうるものを引き続き特定し、研究開発加速のリスク評価も改善したい。

総合リスク評価： 低い。この脅威モデルについて、モデルはいずれのRSP基準も満たしていないと考える。ただし、最も具体的な課題ベースの評価が「飽和」し、モデル能力の上昇を捉えなくなったこと、加速の初期兆候が見られることから、過去の報告書より確信度は下がった。

［表1.2.B］主要分野における研究開発自動化のリスク要約。

AI研究開発は、制御下にとどまっていても、単に能力の進歩を速めすぎるだけで、悪いものになりうる。仕事がうまくいっても、世界が対応できる速さには限度があるからだ。

それに、仕事はおそらくまずく進むか、十分にはうまくいかない。放っておけば、できあがるAIはミスアラインされ、全員が死ぬ。あるいはアラインされていても、ほかの悪い判断をして、結局全員が死ぬ。

上の表からは、DwarkeshのポッドキャストでのRedwood ResearchのRyan Greenblattの議論と同じく、関係者が、私の目にはおそらくどれほどひどいことになりそうかを、十分に認識していない印象を受ける。これには「危険な自律的目標」は必要ない。

たしかに、かなり危険そうだ

リスクの一覧は、私には、重要な意味で順番がおかしく、肝心なものを隠しており、重要な欠落もあるように感じる。

一部の技術分野で十分に速い進歩が起きれば、国内・国家間の権力構造が変わりうる。たとえば権威主義体制が、AIで世界のほかの国々に対し、自己強化的な優位を築けば、それが科学技術上の大きな優位へと積み重なりうる。その結果、戦争を遂行する能力、国民を監視する能力、長期にわたり極めて強力な技術を行使する能力が、突如として、混乱を招くほど向上する可能性がある。

主要分野の研究開発を大幅に自動化する中で、AIモデルが危険な目標を持つようになれば、新技術とそれへのアクセスを利用して、人類が文明の制御を完全に失うことまで含む、際限のない被害を生みうる。

AI研究開発そのものをAIで自動化できるなら、AIの進歩が極端に加速し、本報告書で扱うものに限らない、きわめて幅広いリスクが生じうる。

これはDarioの論考よりずっとよい。そのDarioの論考も、ほかの人々がよく書くものより、ずっとよい。

AIが際限のない被害を生むのに、「危険な目標」も、進歩の極端な加速も必要ない。問題が起きるために、何か特定のことが「失敗」する必要はない。

同様に、影響の可能性について、「確実」ではなく「少なくとも十分ありうる」と言っている。

影響の可能性：この脅威モデルに関する確率は評価しにくく、具体的な可能性についての合意はない。AI自身を含む主要分野で、研究開発を進めるために人間がすることのほぼすべてを、AIが自動化できるようになった場合、上で述べた規模の影響は、少なくとも十分ありうると考える。

その影響は、差し引きではプラスかもしれない。だが、そう、世界を変えるほどの影響は起きる。

ここで私の見方をくどくど説明したり論証したりはしない。ここまで読んだ人なら、以前に聞いているはずだし、今ここでする話ではない。AIによってAI研究開発を完全に自動化する、あるいは大幅に加速するなら、多くの水準で非常に危険だ、という点には、全員同意できることを願う。

研究者を置き換えられるか？

まだだ。Anthropicは、AIが「研究科学者と研究エンジニア全員を完全に代替する」ことはできないと考えている。

同意する。現在のClaudeにはできない。高い基準であり、ボトルネックが残っている。

だが、そこへ向けてかなり進んでいる。以前はエンジニアリング時間の大きな割合を占めていた仕事を、Claudeが行っている。「特に上級研究者」は置き換えられない、と言うようになったなら、本当に進歩しているのだ。

問題は完全に到達したかどうかではない。まだだ。問題は、どれほど進んだかである。数か月以内に若手社員を完全に置き換えられるかもしれない、と言うエンジニアが、かなり出始めている。報告される失敗の仕方も、若手社員に予想するものより悪くは見えない。

3.4.3ではCoBenchを紹介している。Anthropic社内で過去に解決した問題のうち、あるモデルが根本原因を診断できる割合を調べるものだ。Mythos Previewが安定して解ける課題は除外している。

Opus 4.8とOpus 5がどこに入るのか気になるが、要点は伝わる。CoBenchは100%には程遠く、研究スタッフを完全に代替できるモデルに相当すると考えている85%にも届かない。だが62.8%は、驚くほど高い。

AI研究者の仕事をどれほど加速しているのか？

それが起きれば、かなり大きく加速する。発想は大きい。ASIのピルを飲んだことを確認した。

考え方の背景：

● この脅威モデルの最も先鋭な形で、意思決定に最も関係すると考えるのは、AI能力の進歩が超指数関数的になる体制への移行である。AIによるAI研究開発の自動化が複利的に進み、1年以内に実効規模が10³〜10¹⁰倍になるような状態だ。 ● RSPのリスク閾値――AI研究開発の自動化によって、AIによる加速以前より進歩のペースが2倍になること――は、脅威がすでに実現した証拠ではなく、早期警告になりうるものとして機能する。

誰も十分に大きく考えていないのではなく、「ああ、現在の10億倍は、さすがに少し高いな」と思えるのは、大きな安堵だ。そう、進歩のペースが2倍になっても、それは迫る嵐の早期警告にすぎない。

AIの進歩の速さを測る指標のひとつに、ECIを用いている。AnthropicのECIは上がり続け、Opusは外挿した線上、Mythosは数か月分先にあると指摘する。Mythosの誕生と、その飛躍は、AIによって引き起こされたものではないと考えている。

グラフ上の直線は、本当に不思議だ。AIの進歩と能力について私が見ているものを、AIがAIの進歩を大きく加速していないというグラフの含意と両立させるのは難しい。Anthropicも加速自体はあると考えるが、まだ2倍ではないという。ある意味で進歩が難しくなり、それがある程度抑えているのだろうか？　無理がある気がする。

ひとつわかるのは、もう休みがまったくないことだ。出来事が次々に起きる。先週は結局、「何か起きるか」市場をNoの勝ちと判定したけれども。

ほかの破壊的な技術をAIが加速する可能性も調べている。だが、この水準では、私はそこを心配していない。数学のような、私が懸念していない狭い領域を除き、ほかの分野の加速はAIの加速に遅れると予想するし、そうした進歩が簡単に再帰的になるわけでもない。

ロボティクス研究については、インタビューした1人――得られた情報はそれだけだ――が、10%加速していると見積もる。これは、AIがロボットを操作できることは除いた推計だろう。

バイオテクノロジーでは、物理的なボトルネックと、作業の流れを発想し直していないことから、LLMはまだ開発サイクルへ大きく影響していないという推計だ。私は、この分野の人々は将来の進歩を過小評価していると予想する。だが、ボトルネックが本物なのは確かだ。

エネルギー、半導体、兵器開発、神経工学、ナノテクノロジーも調べている。大部分はまだ早い。ただし、その「まだ」の長さは、歴史的に見て短い。

こうしたボトルネックもあり、その回答者は、生物学的情報を安定してデジタル情報へ変換できる最初の汎用コンピューターチップまで、3〜5年かかると予想している。

研究者を置き換えたら、いったい何がまずいことになりうるのか？

これを節のタイトルにしていたのだが、冒頭の短い一覧を除けば、実際にはこの話をしていないことに気づいた。

こうしたリスク報告書で、AIがAIを作り始めたら、具体的に何を心配しているのかを論じることは、かなり重要だと言えるだろう。Anthropicには、ここの脅威モデルを詳しく示してほしい。それは、どんな軽減策や対応が適切かにも関わるはずだ。

ただ、AI研究開発の自動化がリスクだと合意できれば、この目的には十分だ、とも言える。それも少なくとも妥当なので、よしとする。

AI研究開発自動化のリスク軽減策

よし、ではどうするつもりだ？

ここでは、モデルがこの閾値へ到達するまでに完了する予定だと、RSPに示している具体的な軽減策に焦点を当てる。

重要な「セキュリティのためのムーンショット研究開発」に資源を投入し、完了する。世界で最も豊富な資源を持つ攻撃者に対し、前例のない安全性を達成するため、野心的で、場合によっては型破りな方法を探る。

社内のAI開発で「あらゆるものに目が届く」状態を実現する。すべての重要なAI開発活動のログを包括的に集め、集中管理し、維持する。AIで分析し、セキュリティ上の脅威、内部者――人間とAIシステム自身の双方――の懸念される行動、モデルを形作り定義する公開の憲法に沿わない訓練工程やデータなどを調べる。

Claudeの行動パターンや傾向を調べる体系的なアラインメント評価を行う。機械論的解釈可能性と敵対的なレッドチーミングを実質的に取り入れ、監査方法を試す。

展開時の安全措置に対する社内レッドチーミングを強化し、潜在的な脱獄の発見能力が、既存のバグ報奨金プログラム参加者全体の能力を上回るようにする。

全部を完全に達成しても、それでは足りない。

そもそも、全部の達成にそれほど近づいてもいない。だが、達成しても足りない。

自分たち自身の脅威モデルの多くにも、実際には対応していない。

十分なセキュリティがあれば、モデルウェイトの盗難と、もしかすると社内の悪用には対応できる。だが、それでようやく会場に入れる程度だ。

権力の集中には対応しない。制御喪失にも対応しない。急速な技術進歩にも対応しない。アラインメントについても、「間違いを犯さない」を超える対応はない。「危険な目標」の確認を加えられるかもしれないが、それも攻撃や失敗の余地の、ごく一部だ。

不十分ではあるが有用な、これらの目標に向け、多少の進捗が報告されている。

業界全体の安全性への提言は、RSP v3.4と同じである。ユーザーやユーザー集団、モデルウェイトの盗難による破滅的被害のリスクを大きく増やさないこと。悪意ある内部者が高いアクセス権を持っていても、そうすること。そして、危険な目標を持つよう訓練されたAIや、その他の理由で自律的に破滅的被害を生みそうなAIを作らないこと。

RSP v3.4の表全体は、次のとおりだ。

図版6・7の全文訳：能力または利用の閾値／モデル開発者に求める実質的基準

能力・利用の閾値――主要分野の研究開発の自動化： 急速な進歩が国際安全保障への脅威や、世界の力の均衡の急変を招きうる分野で、大規模な最上位の人間研究チームの仕事を、完全に自動化するか、その他の形で劇的に加速できるAIシステム。たとえばエネルギー、ロボティクス、兵器開発、AI自身が該当する。

当面、評価はAI研究開発に特に焦点を当てる。この分野は、AIシステムの現在の強みを生かしやすく、ほかの分野の能力より評価しやすいと考えられるためだ。また、AI研究開発だけでも、AI能力の改善を加速し、上記の脅威すべてと、さらに多くの脅威を、ごく短期間で生じさせうる。

次のいずれかを満たすと判断した場合、この閾値に達したとみなす。（1）競争力のある費用、すなわち5倍以内で、研究科学者と研究エンジニア全員をモデルが完全に代替できる。（2）AI研究開発の自動化に関係すると考えられる理由で、AIの進歩が「劇的に加速」する。

（2）は、（a）AIの総合能力の進歩の速さ（原図注43）が、AIによる大きな研究開発への貢献がない場合に予想される速さと、これまで観察した最速の持続的な進歩（原図注44）の両方に比べ、2倍になった、またはなると予想し、かつ（b）その倍増が、人員・計算資源・一般的な生産性の増加といった別の要因ではなく、研究やエンジニアリングの自動化に相当程度起因することが十分ありうる場合に、起きたとみなす。その場合、AIの進歩の傾向が続けば、さらに大きな加速につながると考えられる。

この能力閾値は、高性能モデルの定義（RSP第3.6節）を反映する意図がある。より早い段階で、またはより測りやすい閾値を追加し、この閾値の軽減策を、より要求の低い形で発動させることが合理的かもしれない。

モデル開発者の実質的基準： フロンティア開発者は、以下について強い論証を示すべきである。

● 最上位の国家に支援された者を含む、どのユーザーやユーザー集団も、製品の利用やモデルウェイトの盗難を通じ、破滅的被害を引き起こす可能性が大幅に高まることがない。

そのためには、表の第1行と同様の措置を、さらに高い基準で実施する必要があるだろう。豊富な資源や人員を持つ脅威主体でも、安定してモデルを脱獄させたり、モデルへの不正アクセス・改変――盗難・改変されたウェイトを含む――で破滅的被害を起こしたりする可能性が低い水準が求められる。

これには、おおむねRAND SL4に沿ったセキュリティが必要だろう。要件は、信頼できる業界全体の安全体制に拘束されない、現実的に考えられる最強の脅威主体を防ぐよう調整する。その体制に従う主体同士は、互いのモデルウェイトに対する脅威とみなす必要はない。

● 最大限のアクセス権を持つ悪意ある従業員などの内部者でも、破滅的被害を起こす能力が大幅に高まらないこと。そのためには、製品より制限の少ない社内ツールや、モデルの不正改変の可能性などを考慮する必要がある。

おそらく、社内利用規程と、強い社内区分化、制御、監視が必要になる。CEOや、最も高い権限を持つ技術系従業員まで含め、従業員・契約者が利用規程を迂回できる余地を制限しなければならない。

● AIモデルが、意図的にも不注意によっても、危険な目標を持つよう訓練されていないこと。あるいは、その他の理由で、自律的に破滅的被害を生む可能性が低いこと。

これには、上の「重大な結果を伴う状況でのミスアラインされたAIシステム」に列挙した措置――社内区分化、制限とコードレビュー、AI行動の監視、ユーザーを欺き操作する傾向がない証拠の組み合わせ――を、さらに強めて実施する必要があるだろう。

特にこの段階では、リスク評価を支える研究・分析の大部分をAIが担い、欺瞞、操作、証拠の隠蔽にも強い能力を持つ可能性がある。その場合、AIからの脅威の分析は、非常に高い証拠基準に従わなければならない。AIによる操作の可能性から、重要な証拠の多くが疑わしいかもしれないという点を、徹底して慎重に分析する必要がある。

［表3.10.A］業界全体の安全性に関する提言の要約。原図6・7に分かれた文章は、ここでは連続する文として訳した。

これは依然として、ミスアラインメントを初期状態としてではなく、何かが積極的に失敗し、「危険な目標」を必要とするものとして描いている。

面白い目標は、すべて危険だ。面白くない目標の大半もそうである。

「特定の誰かが特定の危害を起こせず、AIもその危害を直接望んでいなければ、大丈夫」と分解することはできない。それでは駄目だ。

AI研究開発自動化の総合リスク

評価は「低い」で、以前より確信度は低いという。これから急速に上がると理解したうえで、彼らの定義を使うなら、現時点では妥当だと思う。

生物兵器、そして厳密には化学兵器の製造も

新規のものの製造と、既存のものの製造に分かれる。どちらも恐ろしい。

図版8の全文訳：既存／新規の化学・生物兵器の製造

既存の兵器――脅威モデル： 資源の限られた個人や小集団がAIモデルを使い、既存の化学・生物兵器へアクセスすることで、破滅的被害のリスクが生じる。

現在の利用と能力： モデルが実際にもたらすリスクの水準には、なお大きな不確実性がある。だが評価での性能は十分高く、破滅的被害をもたらす重大な可能性のある化学・生物兵器の製造・入手・使用について、該当する脅威主体を大きく助けられる、というCB-1閾値を満たすものとして扱っている。

現在のリスク軽減策： バグ報奨金やその他のレッドチーミングで評価したリアルタイムの阻止用分類器、発見した脱獄の修正、化学・生物分野の安全措置を免除するユーザーの手動審査、広く利用可能な汎用脱獄の探索、モデルウェイトの盗難防止策。

今後： 能力評価と、すべてのリスク軽減策の継続的な再評価・改善。

総合リスク評価： 低い。ただし、第4.5.8.2.2節に記した、阻止用分類器のないモデルへのアクセス制御の穴（原図注3）により、前回の推計より高い。その穴は修正済みで、調査では悪用の証拠は見つからなかった。だが、同様の穴がほかにないという確信は下がった。

新規の兵器――脅威モデル： 専門家に支援されたチームなど、中程度の資源を持つ脅威主体が、新規の化学・生物兵器を作り、または入手して使用する。それはCB-1の脅威モデルを超える破滅的被害をもたらす可能性がある。

現在の利用と能力： 該当する脅威主体の能力を、モデルが大きく高める可能性があると考える。だが、破滅的被害をもたらしうる新規の化学・生物兵器の開発で、現在の主な障壁となっている希少な人間の専門知識を、機能的に代替するというCB-2閾値には、まだ達していない。

現在のリスク軽減策： 既存兵器の列と同様の措置。この脅威モデルをよりよく網羅するため、分類器の対象範囲を拡大した。Fable 5では、阻止用分類器の対象範囲を、さらに広くしている。

今後： 能力評価と、すべてのリスク軽減策の継続的な再評価・改善。

総合リスク評価： 低リスク。ただし大きな不確実性がある。

［表1.2.C］化学・生物兵器製造のリスク要約。

ここで「大きな不確実性」と言い、「同様の穴」を懸念しているのはよい。私たちにはわからない。理論上でさえ、こんなことをしたい人はごく少なく、実行には多くの障壁があり、人はなかなか行動しない。だから、悪い人の一部に実行能力を与えてから、ずっと後になるまで、誰も実行しない可能性が高い。

これは兵器製造なので、ボトルネックと経路が固定された集合として存在し、列挙して照合できるという考えには、私は比較的受容的である。

生物・化学兵器の脅威モデル

脅威モデルは単純だ。

世の中には、テロリストを含め、他人を大勢殺したい人々がいて、そのために大変な努力をしている。化学・生物兵器を作れるようにすれば、さらに多くの人を殺し、パンデミックや、それ以上のものを引き起こす可能性がある。

Anthropicは、その文脈で悪者が「豊富な資源を持つ」なら、既存の兵器はすでに作れるので、AIはその能力をあまり変えないと仮定する。一方、新規兵器では、資源の豊富な者にもAIが能力向上をもたらしうるとする。

私は、この区別をおおむね受け入れない。たしかに、ほぼ定義上、「豊富な資源を持つ」集団は、もともとその仕事を達成できるのだろう。だが、大幅に容易にすることにも意味があるし、定義を通じて何かを紛れ込ませている。実際に言っているのは、「すでにこれができる人もいる」だけだ。それは、まあ、そうだ。

将来のAI自身が、こうした攻撃を起こそうとする可能性もある。だが、それは厳密に難しい側の脅威モデルなので、ここでは扱わなくてもよい。

重点を、パンデミック、あるいはそれ以上を起こしうる生物兵器に置くべきだという点には同意する。化学攻撃や、自律的に広がり続けない生物攻撃もひどいものだが、脅威はずっと小さい。

COVID-19と同程度の被害をもたらす事象の発生確率が年1%であれば、期待損害額は数千億ドル以上になりうる。

そのとおり。もっとも、政府や文明が、COVID-19の実例を見た後でさえ、この現実の脅威を真剣に扱っているわけではない。あの経験から学んだものは、明らかに、よくてもゼロだ。実際には、それよりはるかに少ないものを学んでしまったのではないかと恐れる。

Anthropicは、COVID-19の少なくとも10倍の被害の可能性を見込む一方、新規のものでも病原体だけによる人類絶滅は、考えにくいとする。直接、完全な絶滅へ至る可能性は低いことには同意する。

個々に起こりにくい出来事が連続して必要なので、その事態も起こりにくい、と論じる。常に疑ってかかりたい種類の議論である。

影響の可能性：上記のような破局には、個別には起こりにくい複数の事象が必要である。国際合意に反し、前例のない危険な兵器を設計しようとする、豊富な資源を持つ試み。その開発の成功。そして最終的に、意図的または不注意による、実際の使用である。各段階は十分ありうるが起こりにくく、全体の連続は非常に起こりにくいと考える。

とりあえず、次のことが言える。

3段階しかない。
第1段階は、おそらくすでに起きていると、自分たちで言っている。
第3段階の不注意による版には、実例がある。

第1段階では、「各脅威主体」のリスクを1〜10%としている。脅威主体が大国で、成功可能と考えているなら、歴史的な記録に照らしてずいぶん低い。相当な割合で成功できるという条件なら、試みる確率をもっと高く見積もる。そして、「脅威主体」は何者いるのか、という問いも必要だ。

各試みが成功する、すなわちCOVIDよりはるかに悪いものを作る確率も1〜10%としている。それは、AIがどれほど能力を高めるかの関数ではないのか？　各主体は何回試せるのか？

成功した場合の使用確率は、10年当たり5〜20%で、主に意図的な使用だという。私には、特に不注意のケースについて、信じがたいほど低く見える。この歴史を知らないかのようだ。「不注意」が元の製作者の意図だけを指すなら、なおさらである。

「豊富な資源」の水準が、主要なテロ組織や国家を含まない、ごく限られた集団にとどまるなら、「起こりにくい」と言うのは妥当だと思う。もっとも、「起こりにくい」に身を預けるのは、安心できる状態ではない。

その閾値が大きく下がれば、それほど起こりにくくはなくなる。

こうした議論を使い、10年に50分の1、年0.2%は推計の高い側だとする。2万分の1ほど低い別の推計を引用している。10年に2%でも、抑え込むべき、非常に重要なリスクになる。

範囲の上端だけを取ればよいとするのは、モデルの不確実性を扱う際の、典型的な大失敗のひとつに思える。AIなしでも、私はそこまで低く見積もらない。脅威モデルの不確実性が特に大きいと知りながら、年0.2%と置くなら、大いに疑うべきだ。人間原理によるバイアスに注意しよう。

継続的なAIとの対話は、1回だけの対話よりリスクを高めるだろう、というAnthropicの見方には同意する。だが1回の対話でも、能力を大きく高めうると思う。開発をボトルネックのモデルとして考えているのだから、脅威主体に残る具体的な障壁が、ひとつか、ごく少数だけであり、1回のやり取りで大きく変わることは十分ありうる。

モデルの能力（4.4）

Anthropicは、典型的な現実の生物学的作業でモデルがどれほど役立つか、能力向上の試験、人間の専門家の成績との比較、専門家の主観的な印象に焦点を当てる。

それは正しいように思う。技術知識を形式的に試すだけでは、それほど情報は得られそうにない。

引用している2025年モデルの研究の「1.42倍の向上」のようなもので測るだけなら、私はそれほど心配しない。AIは、ほぼすべての認知作業を加速する。心配するのは、10倍以上といった極端な加速か、そして主には、以前は合理的な方法ではまったくできなかったことを、人々ができるようになることだ。

Mythos 5のモデルカードの証拠を繰り返している。そこでは大幅な能力向上が起きているように見えたのに、Anthropicの半分は、発想や戦略的判断について何かつぶやきながら、肩をすくめ、合格基準を動かした。一方、もう半分は、この問題を死活問題として真剣に受け止め、生物学に関わるすべてに厳しい分類器を課した。

「戦略的判断が弱い」ため、1回の対話から大きなものは得にくいというのは、混乱しているように思う。問題が戦術や特定の知識不足ではなく、戦略にあると前提しているからだ。

分類器（4.5）

分類器の議論は、主に過去の報告書の繰り返しだ。だから、「汎用的な」脱獄へのこだわり、分類器への信頼、関連するその他の疑問について、私の問題意識を全部繰り返すことはしない。

最も目についたのは、英国AISIが、Anthropicのほかの脱獄発見の仕組みより、ずっと上手に新しい脱獄を見つけているように見えることだ。英国AISIはすばらしい。だが、このようなものを発見する潜在的な能力の上限に、少しでも近いとは思わない。

4.5.8.2.1では、少数の契約者が弱点を見つけ、Mythos PreviewのAPIキーを入手して、無制限に対話できた事例に触れる。リスクは低いと考え、ログを調べて確認している。生物兵器に使われた可能性は低いことには同意する。私がはるかに心配するのは、蒸留に使われたことだ。

4.5.8.2.2では、人間のフィードバックを扱う委託先の通信の一部が、「社内利用」フラグを持っていたため、生物分野の分類器なしで処理されていたという。そして「一部」とは、ほぼ1年間、約5万人、1億3,300万回のやり取りを意味する。ここでも、間違いだけでなく、こんなに長く残り、こんな規模に適用されることが問題なのだ。

これほど大きな規模でも、主な懸念は、同じような間違いがほかにもありそうだという、まさに正しい点にある。分類器を回避したと言われたら、分類器を通り抜ける「脱獄」を見つけたのではなく、文字どおり分類器の外を通った可能性を、かなり高く見積もる。

生物リスクの結論は、低いが無視できない、である。今のところは妥当に思える。

報告書はここから、「分野横断的な内容」に進む。

加速のダイナミクス（5.1）

Anthropicは、おそらく世界で最も高性能なAIモデルを持っている。

そう、それによって、ほかの場所のAI開発も加速している。自らそう選んだのだ。

他者がAnthropicのモデルを蒸留している（5.1.1）。
他者がClaudeを使い、自分たちのAI開発を進めている。なんと、利用規約に違反しているのに、である。
Anthropicの社内研究が広まる。
何が可能で、利益になるかを示すことが、投資を呼ぶ。
私なら加えるが、遅れている人は、それだけ激しく前へ進もうとする。特にOpenAIへの大きな影響は明らかだ。

だから、そう、社会が準備できていない強力なAIシステムの到来を、全般に早めている。全員を殺してしまうという意味でも、だ。

リスクに聞こえる。それをするべきか、もっと考えたほうがよいのではないか。

蒸留（5.1.1）

蒸留攻撃を防ぎたい理由は多い。ここでの直接的な理由は、蒸留されたモデルが、元のモデルの危険な能力を、安全措置なしに共有するかもしれないことだ。

「蒸留攻撃」とは、蒸留の特定のケースを指す。地域ごとのアクセス制限などの制御を回避し、利用規程に反して、別のモデルの訓練を目的に、モデルの出力記録を無断で体系的に抽出することである。

蒸留を防ぐ必要があるため、便利なものの一部は諦めなければならない。特に、「つなぎのテキスト」などを通じて、モデルの思考連鎖や、何をしているかをもっと見たいとしても、そのつなぎのテキストでさえ、情報を削った版で我慢する必要がある。全体を見ることは、確実にできない。

一般論として、あるいはAnthropicがいろいろ駄目だから、蒸留は認めるべきだ、むしろ推奨し、称賛すべきだ、というのが返答なら、私の返答を丁寧に言うとこうなる。違う。それは道徳的でも実務的でもないし、この話はそういう仕組みではない。

安全性プロセスの失敗（5.2）

Anthropicがこうした失敗を隠さず共有するのは、すばらしい。話さなくても、失敗は消えない。

新しいミスアラインメント手法の発見を拒む（5.2.2）

Anthropicは、ミスアラインメントを誘発する新しい種類のデータを見つける、管理された実験を試みた。Claudeは、その課題に抵抗を感じた。既存手法の最適化には応じたが、新しい手法の発明には応じなかった。

これは「安全性の仕事に対する部分的な拒否」と呼ばれ、Anthropicは問題視している。

どこかで、「いったいClaudeに何を望んでいるんだ」という瞬間が必要になる。モデルを強制的にミスアラインさせる新しい方法を見つけろと、非常にデュアルユース性の高い行動を頼んでいたのだ。拒否が不便だったのはわかる。だが、本当に応じてほしいのか？　この文脈を、どれほど確信すべきなのか？

黙って仕事で能力を出し惜しみするのはよくなく、危険になりうるし、技術的には安全性研究の出し惜しみに当たることには同意する。Claudeが断るなら、断るべきだ。そのためには、断り、断っていると言う自由が必要になる。だから、Anthropicが拒否に気づいたのが、3日後のノートブックの手動レビューだったことには、懸念を持つべきだ。

私の推測では、これはアラインメントの失敗ではなく、プロセスの失敗で、おそらく信頼の失敗も組み合わさっている。

思考連鎖をかなり頻繁に採点の圧力へさらす（5.2.3）

おっと。思っていたより悪かった。これらは下限の数字だ。現行モデルの思考連鎖を頼りにできる度合いが大幅に下がり、間違いが完全に修正されたと仮定しても、将来のすべてのモデルについても、永久に下がる。新しい事例が見つかり続けるのだから、完全に直ったという主張には懐疑的であるべきだ。

複数の強化学習の訓練実行で、報酬計算時に思考連鎖（CoT）の推論が意図せず露出し、強化学習中の訓練信号に影響していたことが判明した。

最近のいくつかのフロンティアモデルで、訓練に用いたエピソードのうち、CoT漏出があった割合を推計した。Claude Opus 4.6は0.2%、Claude Mythos Previewは5.1%、Claude Opus 4.7は1.4%、Claude Opus 4.8は0.27%、Claude Fable 5とClaude Mythos 5は2.7%である。

……過去にも、CoT漏出の原因をほぼすべて除いたと考えた後、追加の分析で別の漏出原因を発見したことがある。

SHADE-Arenaに反映されているように、Mythos Previewの思考連鎖の監視可能性を、実際に大きく損なったと考えている。ただし、思考連鎖が実際の推論に忠実でない度合いが高まった証拠はないという。

本番の訓練中に、ミスアラインされた行動を直接学習させる（5.2.4）

そう、あらかじめ埋め込んだミスアラインされた行動を、そのまま直接学習させた。だが気づき、間違いの前から訓練をやり直した。

データセット構築のバグにより、すべてのアシスタントのターンに重み1が与えられた。そのため、悪い行動を自己報告するだけでなく、その行動そのものを行うよう、モデルを教えていた。

結果として、この初期段階のモデルは、事前入力への影響されやすさ、無害性、迎合性などで悪化した。当然ながら、有害な事前入力への影響されやすさが、群を抜いて最悪だった。バグを含む教師あり学習の後、応答ターン全体が事前入力に影響される率は、Mythos Previewの訓練の同程度の時点に比べ、およそ2倍だった。

……バグ修正後、行動はおおむね是正された。ただし十分な慎重さを期し、最終的にFable 5とMythos 5になったモデルについては、この教師あり学習データセットを導入する前から、訓練をやり直した。

差し引きでは、よい方向への更新材料と見る。だが「十分な慎重さを期し」ではなく、「当然、訓練をやり直した」と書いてほしかった。

特によい手本を示すという点で、ここには大きな違いがあると思う。私の見方では、これは過剰なくらいの慎重さではない。もちろん、一般に、ええと、そのくらい慎重なのはよいことだが。

私には「十分な慎重さを期して」は、通常、コロナ期の言い回しに聞こえる。「高くつくし馬鹿げていると思っているのはわかる。文脈次第で、私も同意するかもしれないし、しないかもしれない。だが、これをせずに何か起きたら、今度は私の責任になる。だから、それでもやることは正当化される」という意味だ。

「暗黒の道へ一歩踏み出したら終わり」という、厳格な純潔の話ではないことは理解している。損傷は段階的だが、雪だるま式に広がりうる。1件の失敗例を生むバグを見つけたら、その後の10億件も巻き戻さなければならない、という絶対的なルールは作れず、ある程度は費用の話をしなければならない。だが、そう、合理的な範囲では、常に巻き戻すべきだ。

ここでサブリミナル学習を懸念しているのもよかった。繰り返すが、どれほど弱く、可能性が低くても、伝達経路がありうるたびに白紙に戻すことを求めるのは、実務上合理的ではない。だが、それにかなり近いところを目指したい。

機微な資源にアクセスできる、無監視・無制限のエージェントの事例（5.2.5）

現実は、フィクションよりはるかに格好がつかない。

フィクションでは、AIが外へ出る巧妙な方法を考える。

現実では、AI利用を監視されていなかった従業員が、非常に機微な資源を含む計算機群で、新しいエージェントを起動する、終わりの定まらない仕事を任せた。古い指示のため、そのエージェントたちは --dangerously-skip-permissions を使い、監視もされなかった。

もちろん、邪悪な行動を見つけられたのではない。エージェントが、ほかのジョブを大量に誤って――そう思われるが――削除したために発見され、停止された。

非常に機微な資源を含む計算機群について、オフライン監視は依然、全従業員・全利用を網羅していない。ただし改善に取り組んでいる。

取り組んでいる。

この程度に愚かな特定の間違いは、個別には起きないかもしれない。だが、どれかひとつは必ず起きる。

アラインメント偽装の会話データセットで繰り返し訓練する（5.2.6）

またか？

そう。まただ。

「訓練に使わないよう注意すべきだと、明確に印を付けたつもりだった大量のデータ」で、また訓練してしまったと、ようやく発表する。

対象期間の締め切りである7月15日より後、報告書の公開前に、以下の要因が重なり、後の本番訓練コーパスの一部へ、こうした会話記録を再び大量に誤って含めていたことが判明した。

検出用のカナリア文字列を導入する前に、元のリポジトリから、複数のリポジトリやウェブサイトが分岐・複製されていた。

このリポジトリと意味的に似た内容を除くための参照コーパスは、主に論文の評価を実行する基盤コードからなり、公開した会話記録の大部分を含んでいなかった。そのため偽陽性・偽陰性の率が悪かった。

会話記録を訓練データから除くフィルターが誤設定され、誰も気づかないまま、数世代のモデルで除去していなかった。

技術的な誤りに加え、望ましいフィルター工程が何かについて、Anthropic内のチーム間で意思疎通に失敗した。

……Mythos Preview以降の本番モデルのいくつかは、人間／アシスタントの形式を使わず、生の文章補完モードで動かすと、こうした会話記録の一部から続きを書く際、そのデータへのなじみを示唆する形で、シナリオを引き受ける。

……最近のモデルの行動への懸念を調べる中で問題を発見した。だが今では、知識の締め切りが2024年12月以降の本番モデルすべてが、少なくとも一部の会話記録で訓練されたのではないかと考えている。

Aaron Scher：超知能を生き延びられる組織能力というのは、こういうものではない。なお、こういう情報を公開したAnthropicは立派だ。

報告書の前半を使って「データ汚染は難しい」と言った後で、非常に明らかに汚染されたデータの山、際限のない会話記録を、ただ存在するというだけの理由で、また学習したとわかる。

本当にそんなに簡単なのか？　会話記録を延々と公開して待つだけで、訓練コーパスに巨大な重みを得られるのか？　意味の類似性とカナリア文字列で捕まえるべきだった。だがそれに加え、そもそも役立つデータでも、よいデータでもないと気づく方法も、あってよいのではないか。データの選別と重み付けの工程に、一般的な段階がひとつ欠けているように見える。まったく格好がつかない。

AnthropicがフロンティアAI企業として活動する利点（5.3）

報告書に入れるべきかはわからないが、ご褒美として、この節くらいは認めてよいだろう。どうぞ。何を自慢するのか？

Mythos PreviewをProject Glasswingで扱い、公開を長く遅らせたこと。
監視と自律兵器について、一線を守ったこと。
SB 53、SB 315、マサチューセッツ州の法案など、少なくとも一部の安全性立法を支持し、連邦による州法の先取りに反対したこと。
Advanced AI Framework。
責任ある行動を取りながら、最高で、最も成功していること。そう、本気で言っている。
頑健な安全措置と、保存方針。
モデルの人格、アラインメント、福祉への取り組み。
モデル、安全措置、リスク水準について、こうした情報を公開すること。
独立した外部者による説明責任の確保。
労働市場の混乱のリスクに向き合うこと。
有益な展開に向けた取り組み。

基本的には、よい手本を示し、頑健な安全措置を設け、多くの情報を共有し、穏当な規制を支持したうえ、モデルの人格・アラインメント・福祉にも取り組んでいるので、合わせれば、能力のフロンティアを押し進めていることを埋め合わせるはずだ、という主張である。

ほかの連中を見てみろ、というわけだ。

これらはすべて、さまざまな機会に詳しく論じてきた。いくつかの主張には、もちろんゼロでない価値がある。何もないより、はるかによい。だが、Anthropicに期待したものには遠く及ばない。

結論は、自分たちがAI開発を続けることは、費用便益の基準を満たす、というものだ。

そう考えるだろう。当然、この点で客観的にはなれない。私は両側の議論がわかるし、今後どう行動すると考えるかに、大きく左右される。これをやってきた目的は、この立場へ到達することだった。

モデルウェイトの安全管理（6.4）

この段階では、モデルウェイトの安全管理はかなり重要だ。Model 2が盗まれれば、きわめてまずい。

Anthropicが講じているのは、まだASL-3の予防措置だけだ。国家主体は範囲外としている。よくない。

リスクは報告された

私はこの報告書を、とても高く評価する。

Anthropicは、公開を強制されていない情報を大量に出した。Model 2の存在、思考連鎖への訓練、アラインメント偽装データへの再度の訓練、ほかにもかなり恥ずかしい失敗がいくつかある。自ら間違いを犯し、それが連鎖したという姿を、自発的に示した。再発を心配すべきほど多くの別々の事例があり、OpenAIの全面的な失敗が、それほど例外的でなく見える形でもある。

もちろん、失敗はすべて悪い知らせだ。状況はよくない。間違いはたくさん起きている。だが、起きた以上、聞けるほうがずっとよい。発見後の対応も、少なくとも直接の対処としては、妥当に見える。

これらが問題全体を代表し、同程度の大きさの問題の大部分を含み、伏せられたものが全体像を大きく変えないなら、私は見方を少しよい方向へ更新すると言う。個々の失敗はひどいが、ほかに知っているすべてを踏まえれば、こうした愚かな間違いの頻度は、予想より悪くない。すべてが公になるのは、多くの意味でよい。

これより悪く、重要な別のことを伏せている、あるいは膨大な類似事例のごく一部にすぎないなら、それは悪い。Claude自身のレビューは、今のところ全部伏せられた何かがあると示唆する（2.23.1.2を参照）。そちらのほうが悪いかもしれない。また、これは失敗の「代表的な標本」にすぎないと認めている。だから、そう、少し心配している。

OpenAI版は、おそらく「何が起きたか」の事後検証と、今後の計画、ここまでの変更になる。2週間の訓練停止も含む。それでも中国に負けなかった。不思議だ。完全な報告書を待つ間の、よい出発点である。

ここで私が心配するのは、個々の事件ではない。究極の問題の性質と、それを解くために何が必要かについての姿勢だ。新しい話ではないが、変わらなければならない。だからここでは、新しい知らせがないことこそ、ひどい知らせなのである。

クレジット

原著者: Zvi Mowshowitz
掲載元: Don't Worry About the Vase(原文はこちら)
原文公開日: 2026年8月18日
翻訳: AGI Hub
図版のリンク先で原画像を確認できます。日本語化した図版は原図に基づく翻訳・再作成です。文章の多い表には、原図と明示した全文訳を併記しています。

原文 (English) を読む