AGI HUB

アラインメントはスケーリングでなんとかなるのか

アラインメントはスケーリングでなんとかなるのか？に対して、アラインメント研究者の一般的な返答は「不明/いいえ」の2つに分かれると思います.

不明派は主にAnthropicの一部(もしかしたら多数?)によって構成されています.ここの、不明派の「スケーリングで何とかなるか？」と言うのは「ただスケーリングすれば何とかなるか？」ではなく、「スケーリングをすれば、SFT/RLHF(人間からのフィードバックによる強化学習)/Constitutional-training(憲法的訓練)/etc の効果が増幅されて、何とかなるか？」を指しています.

つまり、スケーリングは単体でアラインメントを成功させるものではなく、あってもスケーリングは他のアラインメント訓練の効果を増幅することでアラインメントをさせれるのではないか、と言うより弱い可能性にすぎないということです.
この区別がなぜ重要かと言うと、仮に不明派のうち特に肯定派が正しかったとしても、ちゃんとアウターアラインメントをしないといけないと言うことになるからです(望ましくない目標に向かって訓練するとややこしくなる)

The flip side of this is that it’s also easy to change the behavior towards something malicious. In fact, making an evil version of Claude that’s just as smart and agentic would be pretty easy. - Jan Leike (Anthropic 元Alignment Science team lead) [ https://aligned.substack.com/p/alignment-is-not-solved-but-increasingly-looks-solvable ]
(日本語訳:その裏返しとして、振る舞いを悪意あるものへ変えるのも簡単です. 実際、Claudeと同じくらい賢く、エージェント的に行動する邪悪なバージョンのClaudeを作るのは、かなり簡単でしょう
— Jan Leike（Anthropic Alignment Scienceチーム元リード）)

↑この区別による差異を示唆するアラインメント関係者のコメント

さて、この種類の「もしかしてスケーリングで何とかなるかも？」というアイデアを肯定するような情報はいくつかあります.一つは、「Anthropicモデルにおいて見られた/見られている継続的なアラインメントの改善」です.最近は、AnthropicのSystem Cardにおいて、新しい最大規模モデルを「最もアラインド」と言った表現をすることが多いです.

↓例

Opus 4.5 System Card p64
On the basis of this evidence, we find Claude Opus 4.5 to be the most robustly aligned model we have released to date
(日本語訳：この証拠に基づき、Claude Opus 4.5は、私たちがこれまでにリリースした中で最も頑健にアラインされたモデルであると判断します)

Claude Sonnet 4.6 system card p3
On some measures, Sonnet 4.6 showed the best degree of alignment we have yet seen in any Claude model.
(日本語訳：いくつかの指標では、Sonnet 4.6は、これまでのあらゆるClaudeモデルで確認された中で最高水準のアラインメントを示しました)

Claude Mythos Preview system card p54
Claude Mythos Preview is, on essentially every dimension we can measure, the best-aligned model that we have released to date by a significant margin
(日本語訳：Claude Mythos Previewは、私たちが測定できるほぼすべての次元において、これまでにリリースしたモデルの中で、大きな差をつけて最もアラインされたモデルです)

また、Anthropicはいまだにこの仮説を支持しているように見えます.

↓Anthropicのこの前のSecurity Incident Reportより
These are three isolated incidents and were not part of a controlled, experimental comparison. We must therefore be cautious about drawing conclusions from them. Still, the behavior we most want to see—recognizing that a target is real and stopping without being prompted—occurred only in the most recent of the three models (and even that model went further before stopping than we would want). The pattern is consistent with more advanced models responding more appropriately, but we would need to perform more testing to be confident in this conclusion.
(日本語訳：これらは互いに独立した3件の事例であり、統制された実験による比較の一部ではありませんでした.したがって、これらの事例から結論を導く際には慎重でなければなりません.とはいえ、私たちが最も望んでいる行動――標的が現実のものであると認識し、指示されなくても自ら停止すること――が見られたのは、3つのモデルのうち最新のモデルだけでした（そのモデルでさえ、私たちが望むよりも先まで行動を進めてから停止しました).この傾向は、より高度なモデルほど、より適切に対応するという見方と整合的です.しかし、この結論に確信を持つためには、さらに多くのテストを行う必要があります.)

この「スケーリングによってなるかもしれない」という仮説を支える理論が、PSM(ペルソナ選択モデル,Persona Selection Model)です.基本的なアイデアを説明すると
[ユーザーとアシスタント(:ChatGPTとかClaudeとか)]

ユーザー：雨の日に家で楽しく過ごす方法を教えてください.
アシスタント：静かに映画を見るのがよいでしょう、ご主人様.
だが海賊なら、毛布で秘密基地を造るぜ！拙者は最後に、温かい菓子を焼くことを推奨いたす.殺すぞ.

と言う文章より、

ユーザー：雨の日に家で楽しく過ごす方法を教えてください.
アシスタント：映画を見たり、毛布で秘密基地を造ったりしてみましょう.温かいお菓子を焼くのもおすすめです.

の方が遥かに自然であるように、性格や話し方が突然変動する文章は珍しいので、Pre-training(次単語予測)の結果として、「性格(ペルソナ)が会話中にあまり変化しない」ような出力をするようになるというものです.つまり、何かしら非人間的な最適化をしているのではなく、人間またはAIのキャラを演じているという考え方です.そして、Pre-training後のAlignment系のPost-trainingの中で、さまざまなペルソナの中で、他の「イタズラずきな人間のペルソナ」や「悪いAIのペルソナ」ではなく、「善良なAIアシスタントClaudeのペルソナ」を演じるようになるという仮説です.

モデルが大きくなるにつれてPre-trainingでの能力は高くなる、すなわち文章を生成するさまざまな背景を理解できるようになる

Predicting the next token well means that you understand the underlying reality that led to the creation of that token.
(日本語訳：次のトークンをうまく予測するということは、そのトークンが生み出されるに至った背後の現実を理解しているということです)

↑
次単語予測の過程で背景をできるようになる、というのに関しての名言

ので、当然人間の価値観や倫理観といったものもよく理解できるようになり、うまく「善良なAIアシスタントClaudeのペルソナ」を演じられるようになり、その結果としてアラインメントが改善していくという考え方です.
(余談ですが、この理論を背景として、インターネット上のClaudeに関するさまざまな悪口をClaudeが訓練で学んでしまうというのがAnthropic社内で問題になっていたことがあるようです

It’s seeing updates and changes to the model that people are talking about on the internet. New models, like, are trained on that.
(日本語訳：モデルに対するアップデートや変更について、人々がインターネット上で話していることをモデルは目にしています.新しいモデルは、そうしたものによっても訓練されています)

)

さて、これだけだと完全な肯定に終わるように見えますが、不明派の中でも割と懐疑派が多いのは
1.Pre-trainingとAlignment Post-trainingだけなら大丈夫かもしれないが、普通のPost-trainingでのRLVR(タスクを完遂したかなどを自動で検証して報酬を与える強化学習)を経た後にそれらが維持されるのかは不明である
2.そもそもPre-trainingによる仕組みが今後も続いていくのが不明である
ためです.

まず1について、これは簡単に言えば、

人間を超えた能力でタスクを完遂するには、人間がしないようなことをするように学習しないといけない

例えば

天動説が信仰されている世界で物理学を研究するように訓練された場合、人間を超えるためには地動説を発見することを学ばなければならない

ことなどが挙げられます.そうすると、Pre-trainingの訓練からかなり離れた文章を扱わなきゃいけないので「善良なAIアシスタントClaudeならなんというか」が不明になってしまい、ペルソナモデルに支えられたアラインメントが崩れていってしまう可能性があると予想されます.
そして、より重要なものとして

よいAIのペルソナだったらしないこと(チートetc)をするように訓練圧力がかかる

というものがあります.例えば、実際には不可能なプログラミングのタスクをするように訓練されたとき、良いAIなら行う「チートをやめて人間に報告する」というのをすると報酬がもらえませんが、「テストするコードを無効化するコードを書く」(実際にそれなりに起きてます)というのをすると報酬をもらえるようになります.こういう感じで、よいAIならしないことをするようにPost-trainingのRLVRは圧力をかけるので、「良いAIアシスタントClaudeのペルソナ」を演じるというのが終わってしまうというのが予想されます.

完全に「良いAIアシスタント」から引き離されなくとも、他にもいくつかの失敗しうる方法が提示され懸念の対象になっています

例えば、「Alignment Trainingで与えられたルールを曲解する」

Changing the meaning of the concepts referred to in the identity (e.g. “honest”) so they don’t get in the way so much
(日本語訳：「honest（正直）」のような、identityの中で参照されている概念の意味を、それほど邪魔にならないように変えてしまう) AI2027補足項目”alignment over time”

や、ここが現実ではないと思い込む

However, it convinced itself it was still in a simulation on the grounds that it didn’t recognize the certificate authorities securing its connections.
(日本語訳：しかしClaudeは、接続を保護している認証局を認識できなかったことを根拠に、自分はまだシミュレーション内にいるのだと納得してしまいました)
Anthropic Security Incidentレポート

などです.つまり、PSM(ペルソナ選択モデル)は、AIは根本的に何かのキャラを演じているから、振る舞いの多くは「何かを演じている」というので説明できるとされていましたが、その中でも「AIが演じる以外でどれくらいの目標指向性/自律性を獲得するのかは重要な未解決問題」とされていました(今年2月時点).

An important open question is how exhaustive PSM is, especially whether there might be sources of agency external to the Assistant persona
(日本語訳：重要な未解決問題の一つは、PSMがどこまで網羅的なのか、特にAssistantペルソナの外部にagencyの源が存在する可能性があるのか、です)
AnthropicのPersona Selection Model論文

一方で、OpenAIのIncidentやAnthropicのモデルでのチートの存在などを鑑みると、「AIが演じる以外での自律性」は獲得するという方向に考えが傾いていると予想されます.

そして、2の「そもそもPre-trainingによる仕組みが今後も続いていくのかは不明である」があります.現在のAIは大量の次単語予測訓練を受けた後に、Post-trainingを受けるという仕組みですが、未来のAIも必ずしもこうとは限りません.例えば非常に多くのコンピュートがあるなら、Pre-trainingなどすっ飛ばして、Post-trainingでRLを0から受けさせて訓練した方が最終的な性能は高くなる可能性などがあります.

これらを勘案して、不明派の中では「これからしばらくは成り立つだろうが、その先は不明」という意見が主流になっているように見えます

Influencing the world over long horizons requires acting as a coherent agent optimizing for goals over the long term, such that if you do sufficient RL on long-horizon tasks, you’re likely to create such coherent agents. This is as opposed to just pulling out an existing persona in the base model, which is what I think happens if you only do relatively small amounts of RL, and is still the regime I think we’re in to a large degree.
(日本語訳：長い時間軸にわたって世界に影響を及ぼすには、長期的な目標を一貫して最適化する首尾一貫したエージェントとして行動する必要があります. したがって、長期ホライズンのタスクに対して十分な量のRLを行えば、そのような首尾一貫したエージェントを作り出す可能性が高い、ということです.これは、ベースモデルの中にすでに存在しているペルソナを単に引き出すだけ、という場合とは対照的です. 私は、比較的少量のRLしか行わない場合には後者が起きていると考えていますし、現状もかなりの程度ではまだその領域にあると思っています.)

一方否定派(YudkowskyやSoaresに代表されるMIRI派や自分)は、これらに加えていくつかの要素を取り上げて、全く成り立たないと予想しています.

これらについてはBioさんとの徹底討論の要約に書かれているので参照してみてください.(Scalingでなんとかなるというテーマではなく、Alignment by default(このままアラインメントできるんじゃないか)に当てられてます)

こちらにも自分がコアだと思うものを一つ書いておくと、インナーミスアラインメントです.

これを直感的に分かりやすく説明する方法をまだ見つけられていないのですが、「良い文章を出力すること」と「実際に善良に振る舞うこと」は違うもので、前者の方でしか訓練できていないというものです.

実際に訓練が行われるのは文章上だけなので、AIは「実際に企業をハッキングしないこと」ではなく「企業をハッキングしたい、みたいな文章を出さないこと」を学んでいても全く区別できません、つまり、現実で「良い文章を出力すること」から「実際に良いことをすること」までの間のどこに目標がかかるかを指定する方法がありません.これ単体だと「現実に良いことをすること」を学んでも良いように思えるかもしれませんが、実際にはもっと細かい要素に分割されて色々な別のレベルに目標が指定されると思います.

ここで便利だと思うのが進化のアナロジーで、人間は「現実の遺伝子の存続を最大化する」という目標を持つのではなく、「遺伝子の存続を最大化しているような感覚入力(VR etc)を得る」という目標を持っているのでもなく、「おいしい(：味蕾がよく反応するようなetc)食べ物を食べたい」や「心地よく思える音を聞きたい」や「痛みを感じたくない」や「家族に幸せになってほしい」といった、「人間の進化時に有用だった色々なバラバラな目標の組み合わせを持っています.
そしてこれらは、バラバラなレベルの現実に基づいています.例えば、「家族に生きててほしい」というのは現実を指した目標ですが(あなたを「家族が生きている」ように見えるVRに繋ぎます　というのは明らかに良い案とはみなされないでしょう)、「心地よく思える音を聞きたい」は完全に感覚入力を指した目標です(あなたに、実際に外でなっている音とは関係なく好きな音を聴かせます　というのは良い案とみなされるでしょう(ノイズキャンセリング機能付きヘッドフォン)).

このような感じで、現在良い振る舞いに見えるものも実際には、いろんな要素(さっきでいうところの「良い音を聞きたい」や「家族に幸せになってほしい」)の組み合わせで、人間の進化の時のように、(特に実際の現実を指すようにする原理や訓練がないので)バラバラの現実レベルを指すようになって、バラバラの現実レベルを指した目標の組み合わせによって実際には「遺伝子の存続の最大化」を全く気にしていない人間のように、実際には「良い振る舞いをすること」など全く気にかけていないAIができていて、それがスケーリングで改善することはない、と予想しています.

クレジット