解釈可能性と特徴多様体

AIシステムの内部で何が起きているのかを、どうすれば理解できるだろうか。今日、フロンティアラボ(frontier labs)は、大規模言語モデル(LLM)の危険な挙動を、思考の連鎖(chain of thought)を監視することに加えて、その「内部(internals)」を覗き込むことでテストしている。

それはどういうことか。頭に置いておくとよい簡略化した描像はこうだ。LLMでは、プロンプト中の単語はより小さな断片(トークン)に分割され、各トークンは数千次元におよぶ巨大なベクトル空間の中の1つのベクトルとして表現される。これらのベクトルは活性(activations)と呼ばれ、層(layer)を経るごとに変換されていく。各層はトークンのベクトルに更新を加える。最終層では、最後の位置にあるベクトルが、トークンごとに1つ用意された固定の非埋め込み(unembedding)ベクトルの族と内積によって比較され、ソフトマックス関数(指数を取って正規化する)によって確率分布へと変換される。最後に、この分布からサンプリングすることで次のトークンが生成される。つまり、LLMの「頭の中」の中身は、層で区切られたベクトル空間の集まりとして考えることができる。

これらの活性のベクトル空間は驚くべき幾何的性質を備えており、それを手がかりにLLMがどのように考えているのかを理解することができる。

線形表現仮説

その代表例が線形表現仮説(linear representation hypothesis)である。これは、これらのベクトル空間のアフィン構造が、その意味内容に関する重要な情報を符号化しているという仮説だ。古典的な例としては、初期の単語埋め込み(word embedding)研究における king − man + woman ≈ queen がよく知られている。重要なのは、LLMでは任意の層の活性をトークンへと射影し直せることだ。この操作は最終層には組み込みで備わっているが、logitレンズ(logit lens)やtunedレンズ(tuned lens)を使えばすべての層で近似的に行うことができ、rouge − red + green ≈ vert のような類似の等式が見つかる。

線形表現仮説は、線形プローブ(linear probe)やスパースオートエンコーダ(sparse autoencoder, SAE)といった機構的解釈可能性(mechanistic interpretability)の技法の基盤となっている。たとえばSAEは、隠れた目的(hidden objective)を持つモデルや有害な応答を生成するモデルの特定に使われている。後者のケースでは、SAEによってある種の「ミスアラインメントを起こしたペルソナ(misaligned persona)」ベクトルを特定でき、その方向に沿ってモデルをミスアラインメントに近づけたり遠ざけたりと操舵(steering)することが可能になる。

特徴多様体

しかし、これらの手法には深刻な限界がある。活性空間には、線形ではない構造も大量に含まれているからだ。その一例が特徴多様体(feature manifolds)である。これは、活性が意味のある解釈を持つ低次元の部分多様体の上に乗っている、という現象を指す。「金曜日の5日後は何曜日か」「11月の6ヶ月後は何月か」と尋ねられたモデルは、曜日や月を円周上に表現し、その円を回転させることで剰余算(modular arithmetic)の問題を解く。同様に、固定幅のテキストでどこで改行するかを決めるとき、Claude 3.5 Haiku はそれまでの文字数の累計を曲がった1次元多様体の上で追跡しており、アテンションヘッド(attention head)がそれをねじって行幅と比較する。また、群の演算を実行するように訓練されたモデルの活性空間には、その群の既約表現(irreducible representations)が現れる。

非線形構造はさらに奇妙なものにもなりうる。隠れマルコフ過程を予測するように訓練されたトランスフォーマーは、最適な予測器が持つベイズ的信念状態(Bayesian belief state)を符号化しており、それはシェルピンスキーの三角形に似たフラクタルとして活性空間に線形に埋め込まれている。

この分野の重要な未解決問題は、こうした非線形の幾何構造を発見する系統的な手法を開発し、それらがどのように形成されモデルにどう使われているのかを理解し、その知見をスケーラブルな解釈可能性ツールへと結実させることである。

さらに読むために

1. The Linear Representation Hypothesis and the Geometry of Large Language Models

   概念が活性空間内の線形な方向として表現されるとはどういうことかを定式化する。

2. Interpreting GPT: The Logit Lens

   中間層の活性を語彙空間へ射影するシンプルな手法を導入する。

3. Eliciting Latent Predictions from Transformers with the Tuned Lens

   学習されたアフィンプローブによってlogitレンズを改良し、層ごとの予測をより信頼できるものにする。

4. Not All Language Model Features Are One-Dimensionally Linear

   言語モデルの活性の中に、曜日や月を表す円周をはじめとする多次元的な特徴を発見する。

5. A Toy Model of Universality: Reverse Engineering How Networks Learn Group Operations

   有限群の合成を学習したネットワークが獲得する回路を、表現論を用いて特徴づける。

6. Transformers Represent Belief State Geometry in Their Residual Stream

   トランスフォーマーが、複雑な──ときにフラクタル状の──幾何を持つ信念状態を線形に埋め込みうることを示す。

7. Auditing Language Models for Hidden Objectives

   隠れた目的を持つモデルの監査を通じて、スパースオートエンコーダを含む解釈可能性手法を検証する。

8. Persona Features Control Emergent Misalignment

   ペルソナに関連する活性の特徴を特定し、創発的ミスアラインメント(emergent misalignment)との関係を調べる。