これは 埋め込まれたエージェンシー 連載の結びだ。これまでの記事：
埋め込まれたエージェント — 意思決定理論 — 埋め込まれた世界モデル
頑健な委任 — サブシステムのアラインメント
最後に、好奇心と知的な謎について一言。
私は、世界に埋め込まれたエージェントのエミーを紹介し、彼女がどうやって選択肢を評価し、世界や自分自身をモデル化し、問題を分解して解いているのか、私にはわからないと述べた。
これまで研究者がこのような問題に取り組む動機を語るときは、たいていAIリスクに由来する動機が中心だった。AI研究者は、人間のように汎用的なやり方で問題を解ける機械を作りたいと考えているが、二元論は、そのようなシステムを考えるための現実的な枠組みではない。とりわけ、AIシステムが賢くなるほど破綻しやすい近似なのだ。汎用AIシステムの作り方がわかったときには、研究者が自分たちのシステムを理解し、その内部特性を分析し、将来の振る舞いに確信を持てるよう、今よりよい立場にいてほしい。
更新なし意思決定理論やサブシステムのアラインメントなどに現在取り組んでいる研究者の大半は、これを動機としている。私たちが基礎的な概念上の謎に関心を持つのは、将来のAIシステムへの確信を得て、総当たりの探索や試行錯誤にそれほど頼らずに済むようにするためには、これらを解明する必要があると考えるからだ。
ただ、AIにおいて特定の概念的洞察がなぜ必要なのか、あるいは不要なのかという議論は、かなり長くなる。ここでは、その論争の細部に立ち入ろうとはしなかった。その代わりに、ある一群の研究の方向性を、目的達成の手段としての戦略ではなく、知的な謎として論じてきた。
こうした問題を目的達成の戦略として論じることには、難点が一つある。私たちがこの種の研究をそれほど重要だと考えるのはなぜか、という点で誤解を招くことがあるのだ。「目的達成の戦略」という見方をすると、ある研究課題をある安全上の懸念に直接結びつけたくなる。だが私は、合理的なエージェンシーの現在のモデルの何が間違っているのかを解明しなければ、現実世界に埋め込まれたシステムが「ベイズ的すぎる」せいで何か問題を起こす、と想像しているわけではない。まして、将来のAIシステムが二階論理で記述されると想像しているわけでもない！ ほとんどの場合、私は研究課題とAIの具体的な失敗パターンを直接結びつけようとは、まったくしていない。
私が考えているのは、むしろこういうことだ。エージェンシーとは何かを考えるにあたって、私たちは今、どうやら間違った基礎概念を使っている。より現実的な、世界に埋め込まれた枠組みへ、これらの概念をうまく適用できないことが、その証拠だ。
将来のAI開発者が、現実世界で強力に働く最適化システムを実際に作ろうとするときに、まだこうした混乱した不完全な基礎概念を使っているとすれば、それはまずい状況に思える。そして、より高性能なシステムを開発しようとするだけで、研究コミュニティがその過程でこれらの大半を自然に解明する、という展開は期待しにくそうだ。実際、進化は、こうしたことを何一つ「理解」せず、総当たりの探索によって人間の脳を作り上げた。
「埋め込まれたエージェンシー」という言葉で私が指し示そうとしているのは、私自身がよくわかっていない、とても重要で核心的な領域だ。そして、将来の研究者もそこで混乱に陥るおそれがあると考えている。
もっと直接的な応用を見据えた優れたAIアラインメント研究も、数多く行われている。ただ、そうした安全性研究は、ここで扱った謎とは「型シグネチャ」が異なるものだと、私は考えている。
私たちがこれらの研究の方向性を優先する究極の理由は、知的好奇心ではない。それでも、世界について考えるときに 「実用的な影響」という見方だけを当てはめる のではなく、ときには好奇心を出発点として研究上の問いに向き合うことには、実用上の利点もある。
好奇心というレンズを通して世界を見ると、私たちは、ものがはっきり見えなくなる原因となっている混乱に目を向ける。地図の空白や、レンズの欠陥に目が向くのだ。それは、前提をもう一度確かめ、盲点に注意を向けることを促す。「目的達成の戦略」というレンズと心理的な釣り合いを取るうえで、これは役に立つ。後者のレンズで見ていると、考え始めたばかりの段階で、もっと確かな結論にたどり着いて決着をつけたいあまり、手元にあるどんなに不確かな前提にでも頼りたくなりやすいからだ。
埋め込まれたエージェンシーは、私たちの大きな関心事の、すべてとは言わないまでも大半をまとめる、根底のテーマだ。それは多くの具体的な困難の下にある、中心的な謎のように思える。