概要
「無制限分析」とは、実際に実行するには物理的にあり得ないほど莫大な計算能力、あるいは場合によってはハイパー計算を必要とするコンピュータプログラムの挙動を明らかにすることをいう。無制限の計算能力を使えば問題を解く方法が分かっていても、現実世界のコンピュータでは解けないならば、私たちには「無制限解」はあるが「制限付き解」はない。
中心的な例として、コンピュータチェスを考えよう。コンピュータチェスについて初めて書かれた論文は、Claude Shannonが1950年に著したものであり、合法なチェスの手をすべて含むゲーム木を網羅的に探索することにより、完全なチェスを指すための無制限解を提示した。（ポーンが動かず、どの駒も取られないまま50手が経過すればチェスは引き分けとなるので、これは有限の探索木である。）その後Shannonは、駒の数の釣り合いから中盤の局面の価値を評価したり、中盤の局面までを扱うより小さな木を探索したりするような、不完全なチェスを指すための、より制限された方法を検討した。それから47年後の1997年になってようやく、Deep Blueが世界選手権でGarry Kasparovを破った。その道のりでは、アルファベータ枝刈りをはじめ、根本的な新しい洞察がいくつも得られた。
1836年、チェスを指す自動人形だと称するMechanical Turkが一大センセーションを巻き起こした。アマチュア奇術師でもあったEdgar Allen Poeは、Turkの装置内部には人間の操作者が隠れているに違いない（実際そうであった）と論じる随筆を書いた。Poeは、隠し区画の位置を突き止めるためにTurkの外観を分析するだけでなく、そもそも車輪と歯車をどう組み合わせても決してチェスを指せない理由を慎重に論じ、Turkを「Mr. Babbageの計算機械」と明示的に比較した。
算術的または代数的な計算は、その本性からして固定され、確定している。あるデータが与えられれば、ある結果が必然かつ不可避に続く［……］ しかし、Chess-Playerの場合は大きく異なる。そこには確定した進行がない。チェスでは、ある一手から別の一手が必然的に続くことはない。対局のある時点における駒の特定の配置から、別の時点における配置を予言することはできない［……］ さて、Automaton Chess-Playerの動き自体が確定的であると認めたとしても、その動きは対戦相手の不確定な意志によって、必然的に中断され、乱される。それゆえChess-Playerの働きとMr. Babbageの計算機械の働きとの間には、いかなる類似も存在しない［……］ Automatonの働きが精神によって、ただ精神だけによって制御されていることはまったく確かである。実のところ、このことは数学的にア・プリオリに証明できる。
（言い換えると、代数問題では各段階が必然的に前の段階から続くので、Charles Babbageが構想した計算機関のように、車輪と歯車の確定的な運動で表現できる。チェスでは、自分の手も相手の手も盤面の状態から必然的には決まらないので、決定論的な歯車では表現できない、ということである。）
時代を考えれば、これは驚くほど洗練された指摘である。チェスのうち計算上困難な部分、すなわち可能な手の組合せ爆発をも正確に指し示している。それでもなお、完全に間違っている。
チェスの無制限解を知っていても、制限付き解に到達するまでにはなお47年を要するかもしれない。しかし、問題を原理上解くプログラムを記述できないならば、その問題を解くために必要な認知作業の本質について、ある意味で混乱している。無限の計算能力を与えられても問題を解けないなら、制限された計算能力で解けないことは確実である。（探索木という洞察を得る前のPoeが、チェスプログラムを書こうとする姿を想像してほしい。）
現時点では、物理的にあり得ないほど巨大なコンピュータで実行すれば善良なAIになるようなPythonプログラムを、私たちは書く方法を知らない。この概念的な隔たりを直接越えようとして、問題を部分ごとに切り出し、それぞれの無制限解を考案しようとすることが、「AIアラインメント理論における無制限分析の方法論」である。
「制限付きエージェント」が一般に現実的なエージェントを意味するようになったため、「無制限エージェント」という語は、次のようなエージェントを指す場合もある。
- 自らの環境を完全に知っている。
- 自らの環境を完全にシミュレートできる（エージェントが環境より大きいか、環境が非常に単純である）。
- ターン制の離散時間で動作する（エージェントが手を計算する間、環境は待機する）。
- デカルト的エージェントであり、感覚入力と運動出力を除けば環境から完全に分離されている。
これらは重要な点で異なる二種類の無制限性である。ここでは両者を区別するため、上記の性質の一覧を「非現実性」と呼ぶ。十分に非現実的な設定は「トイモデル」または「トイ問題」とも呼ばれる。
非現実的な設定には欠点がある。なかでも、結果、観察、解決策が現実的な応用へ一般化できない可能性があることは重要である。これに対応して、無制限分析の典型的な落とし穴は、コードを実行できないため、ある種の概念的・経験的な誤りが見過ごされやすくなることである（後述）。
それでも、少なくとも今のところ、価値アラインメント理論の技術研究を無制限分析や非現実的な設定へ向かわせる要因がいくつかある。
- 最も単純な設定で混乱に取り組む。無制限の計算能力を与えられても問題を解く方法が分からないなら、私たちは実行すべき作業の本質について混乱している。この概念的な混乱に、問題の分かりにくい部分をできるだけ単純に露出させる設定で取り組むことには、ときに価値がある。提案された解決策に制限を設けたり、現実的にしたりしようとすると、この議論に非常に多くの複雑さ、それも不要ともいえる複雑さが持ち込まれる。（Deep BlueはShannonの理想的なチェスプログラムよりはるかに複雑であった。PoeにDeep Blueのコードだけを見せ、Shannonの理想的な概略を隠しても、彼の助けにはならなかっただろう。）
- 明確な帰結とコミュニケーション。「現実的な」複雑さを導入すると、どの着想からどの帰結が生じるかについて、協力的に議論することが難しくなりうる。（AIXIがアラインメント理論にとって画期的であったのは、AIXIが形式的に規定されており、AIXIが自らの報酬チャネルを掌握しようとすると誰かが指摘したときに、「いや、それを意図したのではない」と逃げる余地がなかったからである。）
- より高度なエージェントは、個々のアルゴリズム固有の癖が少ないかもしれない。エージェントの認知能力を高めると、その挙動が理想に近づき、特定のアルゴリズムに由来する複雑さから離れる場合がある。（人間の観察者から見ると、初期のチェスアルゴリズムには特定のアルゴリズムに結びついた奇妙な癖があるように思えた。現代のチェスプログラムは、人間の直観から見ても、ただ良い手を指していると捉えられる。）
- 実行可能なトイモデルは、高度なエージェントのシナリオにうまく適合しないことが多い。現在のAIアルゴリズムは、十分に高度なAIで予測可能な仕方で生じそうな現象を実演するには、自然な適合性が低いことが多い。そのような現象の一部を切り出して無制限問題として定式化するだけでも、通常は大仕事である。それでも、無制限の設定に収める方が、トイモデルに収めるよりかなり容易な場合がある。（ここでの例はいずれも一文では説明できないほど複雑だが、以下の小節、および効用無差別とタイリング・エージェント理論の議論を参照されたい。）
これらが妥当な理由であるとしても、無制限分析と非現実的な設定に標準的に伴う落とし穴は依然として存在する。それに対して集団および個人として講じている予防策の一部を、以下で論じる。
歴史的な理由から、コンピュータ科学者は無制限または非現実的な分析を疑うことがあり、それが現実世界のコードに関わる特定の種類の仕事をする意欲または能力の欠如を反映しているのではないか、と公然と問うことがある。この点の議論については、MIRIが無制限分析を用いる理由を参照されたい。
最も単純な設定で混乱に取り組む
ある人物が、理想的なチェスプログラムは各手の理想的な良さを評価すべきだと主張し、その人物の哲学的分析を、各手の完全な良さを知るチェスエージェントを使って記述していると想像しよう。その人物は、理想的な良さを何が決めるかについて有効な規定を一度も示さない一方、論文を非常に形式的に見せるため、それを記号\gammaで表す。初期のプログラマがチェスプログラムを書こうと机に向かい、ユーザーが指定した手を受け取る部分とチェス画面を表示する部分を作り、「手の良さを決定するモジュール」を書く段階に来るまでは乱数を手の良さとして使い、最後にプログラムを完成できないことに気づく姿を想像できる。その時点で初めて、その人物は「チェスの手の理想的な良さ\gamma」をめぐる話が有効な規定ではなかったと認識する。
コンピュータ科学における標準的な徳倫理の一部には、ギリシャ文字で記号化できたとしても何かを有効に規定する方法を自分が知らない、とこの種の大学院生に強制的に悟らせるため、コードを書けという戒めが含まれる。しかし少なくとも、この種の非有効性は、実際にコードを実行しなくても検出できるようになる人がいるようだ。上の例で、哲学者兼プログラマが\gammaの計算法を知らないと悟ったのは、その部分のプログラムを完成できなかった時点であり、プログラムが実行されて失敗した時点ではない。ユーザーの手を受け取り、チェス盤を画面に表示するコードをすべて付け加えても、この認識に至るまでの時間が増えただけである。一度、コードを書けないという感覚を理解したなら、ホワイトボードの前に立って疑似コードを書けないと気づくことで、はるかに速く同じ認識に至れるかもしれない。
この段階では、一歩下がって、何を解く方法が分からないのかを正確に述べる、つまり何に対する無制限解が欲しいのかを明確に述べようとすることが、ときに理にかなう。それさえできず、実際に時間をかけて「哲学的に」考えなければならないこともある。これは、手の良さという何らかの神秘的な理想量について独り言を述べ、その性質を突き止めようとするような段階である。この段階で、手の良さ\gammaが十分に規定された概念であるという妄想のもとで作業しないことが重要である。それは、自分が混乱している何かを表す記号にすぎない。無制限解、あるいは有効に規定された無制限問題の表現を求めること、すなわち物理的にあり得ないほど巨大なコンピュータさえあれば実行できる疑似コード（ただし\gammaを出力する、ほかには規定されていない「手の良さの神託」は使わない）を求めることで、私たちは自分の哲学的推論に対して「もうコードを書けるか？」というテストを発動しようとしている。
この段階で、実行可能なコードを書こうとすることは役立つだろうか。役立つ場合もある。それは、解き方が分からず混乱している問題の構造を自然に表現する小さなプログラムを、どれほど容易に書けるかによる。Edgar Allen Poeも、提案されたチェスの手が合法か違法かを判定する決定論的な歯車なら構想できる、と認めたかもしれない。そして実際にその自動人形を作ろうとし、さらに何らかの手段で特定の合法手を選ぶ歯車をその上に重ねようとしていれば、ひょっとすると結局チェスは計算可能なのではないか、と考え始めたかもしれない。歯車にできることの一つとして探索という表現に行き着き、原理上どのように問題を解けるかに気づいた可能性さえある。しかしその方法には、自動人形を作って変種を試す時間と費用がかかり、使用できる歯車の数に収めようとすることで複雑さも生じる。ゲームの核心的な構造だけを考え、ホワイトボードに疑似コードや数式を書こうとするなどして、ゲーム木探索という着想にもっと速く到達する方法があり得ないことは、まったく明らかでない。ShannonがPoeよりも容易に無制限解、すなわち実行すべき作業の本質の理解に到達できた理由を問うなら、最も明白な原因は、その間にChurchやTuringらが計算の本質について行った研究である。
また別の場合には、現在のAIアルゴリズムを使って問題をうまく表現する方法がまったく明らかでない一方、十分に労力をかければ、その問題を無制限の設定でどう表現するかを見いだせることがある。
問題の核心である混乱した部分を単純化によって消し去る落とし穴
ロケットのアラインメントという比喩において、タイリング・エージェント問題は、大気がなく完全な球形をした地球の周りに砲弾を撃つという比喩に相当する。つまり、どのような「安定軌道」がそもそも機能し得るかについて着想を得ようとするものである。比喩を離れていうと、与えられた問題は、安定した自己改変の最も単純で非自明な事例を示すことである。すなわち、現在の推論に基づいて、類似の性質を持つエージェントを後継として作ることを望むエージェント、言い換えれば現在の目標を維持するエージェントである。
完全な世界なら、自己改変について自由に推論し、自らのコードの別バージョンがどう振る舞い、その振る舞いが外界にどのような帰結をもたらすかについて正当化された信念を持つAIアルゴリズムの実行可能なコードを、危険なく起動できるだろう（自分の認知に作用する特定の薬を服用したら現実世界で何が起こるかを想像するようなものである）。しかし、これを何らかの自然または現実的な方法で表現することは、現在のAIアルゴリズムの能力をはるかに、はるかに超えている。
一つの悪い「無制限解」は、自らの後継を正確にシミュレートし、後継が何を考えるかを正確に判定し、環境に及ぶ正確な帰結を外挿し、それを評価できるエージェントを仮定することである。正確なシミュレーション能力を仮定すれば、エージェントが一般化、抽象化、確率を使ってどのように推論するかを考える必要はない。しかし、この自明な解決策は、反省的安定性について何らかの光を投じたり、理解へ近づけたりするようには感じられない。つまり、問題の核心部分が単純化によって消し去られ、残ったものを解くのが簡単すぎて役に立たなかったように感じられる。
気に入らない「無制限解」に直面したとき、次にすべきことは、それの何が悪いのかを、自分の解決策に対する新たな望ましい条件という形で正確かつ明確に述べることである。この場合、エージェント1がエージェント2を正確にシミュレートするには、エージェント1がエージェント2より大きくなければならない、と答えることになる。そして私たちは安定した自己改変をモデル化したいので、エージェント2がエージェント1より厳密に弱いという要件を導入することはできない。より一般には、この観察にVingeの原理の洞察を適用し、Vinge的不確実性とVinge的反省という望ましい条件に到達する。無制限解にも、これらを示すことを要求する。
これは、混乱した問題に概念的な光を当てるため無制限設定を使う際に起こり得る、一般的な失敗様式の一つを示している。すなわち、解決したかった核心的な混乱を単純化によって消し去り、元の問題には何の光も投じない自明に見える解決策だけが残る場合である。その主な徴候は、論文を書くのが簡単すぎることである。次にすべきことは、自分が何を単純化によって消し去ったのかを正確に述べ、それを新たな望ましい条件の形にし、現在の最善の試みがその条件を満たせない理由を正確に述べようとすることである。
そこで、さらに次を加える。エージェントには、後継の構築を承認するために後継の正確な行動を知る必要があるのではなく、後継が取り得る正確な行動と振る舞いを一般化することを望む。
この新しい望ましい条件を得ると、別の明白な無制限モデルが現れる。既知の規則を持つ環境で動作し、可能な設計と環境について一階述語論理を用いて推論する決定論的エージェントを考えよう。次にエージェントは、現在のAIアルゴリズムでは妥当な時間内に扱えない（人間の技術者なら多大な根気強い作業によって行えるとしても）無制限の証明探索を使い、その後継が環境に及ぼす効果について正当化された論理的信念に到達する。これは確かに、なお極端に非現実的である。しかし、これもまた問題の興味深い部分をすべて単純化によって消し去ったのだろうか。この場合、「いや、混乱した何かを確かに露出させている」と答えられる。この設定のもとでタイリング・エージェントを構築する方法を、実際に私たちは知らないからである。問題の混乱した部分や興味深い部分をすべて捉えてはいないかもしれないが、少なくとも一つの混乱は露出させているように見える。かなりありそうなこととして、論理的設定の人工物であり、確率的推論を行うエージェントには当てはまらない新たな問題を導入しているとしても、そのときには「では、確率的推論がどう問題を解消するのか示してほしい」という比較的明確な課題が生じる。
さらにごまかしやデモ用の細工を施せばコードとして実行できる、問題のトイモデル、あるいは現時点で最善ではあるが満足できない部分解のトイモデルを作ろうとして、それ以上何かが得られるかは明らかでない。それでもこの試みは行われている。タイリング・エージェント問題は、それ以前におよそ9年間を紙上の研究だけに費やし、現時点で最善ではあるが満足できない解決策はホワイトボードを使って得られた。
残差項の落とし穴
「問題の混乱した部分を単純化によって消し去る」ことに加え、無制限の思考が混乱した問題を「跳ね返ってしまう」もう一つの仕方は、その混乱を包み込む残差項を作ることである。現在、デカルト的で自己改変を行わない期待報酬最大化器には、優れた無制限の規定がある。エージェントには無制限の計算能力を使わせ、環境には無制限の計算能力を使わせず、エージェントには自己改変を求めず、感覚情報と運動出力だけが通過できる不透過の障壁でエージェントを環境から分離し、感覚的な報酬信号を最大化するよう求めれば、十分な計算能力を与えられたとき超知能的に振る舞うと期待される単純なPythonプログラムが存在する。ここでデカルト的境界に透過性を導入し、エージェントが薬物を服用したり、自分の頭に金床を落としたりできる可能性を許すと、その問題に対する無制限解を持つ者はいなくなる。
そこで、この問題を跳ね返ってしまう一つの仕方は、次のように言うことである。「私のエージェントは、自らの運動行為が環境に及ぼす効果、および感覚情報と報酬信号に及ぼす期待効果を計算し、さらに残差項\gammaを加える。この項は、エージェントの処理を変化させたり、ハードウェアを破壊したりする、エージェントの行為の全効果に対する期待効用を表す」。では、\gammaはどう計算するのか。これは語られないままである。
この場合、問題の混乱した部分を省略したわけではないが、計算について有効な規定を与えられない残差項の中に詰め込んでいる。したがって、もはや無制限解はない。無制限の計算能力を与えられれば実行されるPythonプログラムを書き下せないからである。そして問題の混乱した部分に重要な光を投じることにも、おそらく失敗している。ここでも警告徴候の一つは、論文を書くのが非常に簡単であり、それを読んでも核心的な問題が硬く不透明な球のように感じられる度合いが減らないことである。
現実的な複雑さを導入すると、どの着想がどの帰結を持つかについて集団的な議論を築くことが難しくなりうる
AIアラインメント理論史上の画期的な出来事の一つは、Marcus HutterによるAIXIの提案であった。それは、誰かが無制限エージェントの完全な規定（デカルト的設定におけるもの）をまとめた初めての事例だったからだけではない。価値アラインメントが成立していないことを、完全に確定された形で指摘できるようになった初めての事例でもあった。
（執筆中）