❦
ここでまだ掘り下げていない話題に、最適化過程という考えがある。大まかに言えば、心としての力とは、広大な探索空間の中の小さな的に当てる能力だという考えだ。その空間は、ありうる未来の空間でもよい（計画）。ありうる設計の空間でもよい（発明）。
あなたが車を持っていて、その選好に移動が含まれると、すでにわかっているとしよう。その車の部品全部、あるいは原子全部を、無作為にかき混ぜる。すると、車輪つきの荷車でさえ、移動のための道具ができる確率は非常に低い。まして、元の車と同じくらいあなたに好まれる移動の道具など、まずできない。だから、あなたの選好順序に照らせば、車はきわめてありそうにない産物だ。最適化過程の力は、このような起こりにくさを生み出せる点にある。
知能も自然選択も、最適化の特殊な場合と見なせる。広大な探索空間の中で、暗黙の選好によって定まる、ごく小さな的に当てる過程だ。自然選択は、もっと効率よく複製するものを好む。人間の知性は、もっと複雑な選好を持つ。進化にも人間にも一貫した効用関数はないので、「最適化過程」として見るのは近似だと了解しておく。捉えようとしているのはどんな種類の仕事をしているかであり、人間や進化がその仕事を完璧に行うという主張ではない。
生命と知能の物語を、私はこう見ている。最適化過程が、ありそうにないほどよい設計を生み出す物語だ。ここでの「ありそうにない」は、設計空間からの無作為な選択と比べてのことであり、絶対的な意味ではない。最適化過程があれば、「ありそうにない」ほどよい設計がありそうなものになる。
これまでの地球の最適化の歴史を見渡すには、まず概念上、メタ水準と対象水準を分ける。最適化の構造と、最適化されるものを分けるのだ。
ヒトの系統を除いた生物界を考えれば、対象水準には恐竜やチョウや猫がいる。メタ水準には、有性生殖による組換えや、無性生殖集団の自然選択がある。見てのとおり、対象水準のほうがメタ水準よりずっと複雑だ。自然選択は簡単な話題ではなく、数学も使う。だが猫の全身の解剖を見れば、その動態は「変異する、組み換える、繁殖する」より、途方もなく複雑だ。
これは驚くことではない。自然選択は、ある日どこかの潮だまりで始まったにすぎない、偶然の最適化過程だ。猫は、何百万年、何十億年もの進化の対象なのだ。
もちろん猫にも脳があり、生涯を通じて学ぶように働く。だがその生涯が終わると、情報は捨てられ、積み重ならない。したがって、最適化するものとして猫の脳が世界に与える累積的な効果は、比較的小さい。
ミツバチやビーバーの脳を考えてもよい。ミツバチは巣を、ビーバーはダムを作るが、作り方をゼロから考え出したわけではない。ビーバーにはミツバチの巣の作り方はわからず、ミツバチにはダムの作り方はわからない。
だから、ごく最近まで、動物の脳は惑星規模の最適化ゲームの主要な参加者ではなかった。駒ではあったが、プレイヤーではなかったのだ。進化に比べると、脳には最適化能力の汎用性も——進化が作る驚くほど多様な産物を作れなかった——累積性も——産物の複雑さが時とともに積み重ならなかった——足りなかった。この主題の詳しい話は、「タンパク質の強化学習とDNAの帰結主義」を参照してほしい。
ごく最近、ある動物の脳は、最適化能力の汎用性と累積性の両方を示し始めた。自然選択が重要な役割を果たすには短すぎる時間で、驚くほど幅広い産物を生み出し、言語と文字で技能を伝えることで、ますます複雑な産物を作るようになったのだ。
自然選択は、何かをするのに何百世代もかかり、新しい複雑な設計には何百万年もかかる。人間のプログラマーは、相互依存する要素が100個ある複雑な機械を、一日の午後だけで設計できる。これは驚くことではない。自然選択は、ある日始まったにすぎない偶然の最適化過程である一方、人間は、自然選択が何百万年もかけて作り込んだ、最適化された最適化者だからだ。
進化の驚くべきところは、どれほどうまく働くかではなく、自身は最適化されていないのにそもそも働くことだ。こうして最適化は、自分を足がかりに宇宙へ登場した。予想どおり、きわめて非効率な偶然の最適化過程から始まったのだ。偶然できた最初の複製子ではなく、偶然始まった最初の自然選択の過程のことなので、念のため。対象水準とメタ水準を区別しよう！
宇宙で最適化が始まって以来、自然選択と人間の知能には、ある構造的な共通点があり続けた……。
自然選択は遺伝子を選択する。だが、一般に遺伝子が向き直って自然選択を最適化することはない。有性生殖の組換えの発明は例外で、細胞やDNAの発明もそうだ。こうした出来事がどれほど強力で、どれほどまれかは、進化生物学者がそれを軸に地球の生命史全体を組み立てることからもわかる。
だが、一歩下がって人間の立場で、プログラマーのように考えると、自然選択はそれでもたいして複雑ではないとわかる。別々の遺伝子を束ねてみようか？ 情報の貯蔵と、動く機械を分離してみようか？ 遺伝子群を無作為に組み換えてみようか？ 絶対的な尺度では、こうした名案は、賢いハッカーなら誰でも、システム構成を考え始めて最初の10分で思いつく種類のものだ。
自然選択は完全に偶然の過程として、極端に非効率なところから始まった。だから、複製子から戻ってくる、このほんの一握りのメタ水準の改良——猫の構造ほどには到底複雑でないもの——が、地球の生命の進化を時代ごとに区切る。
そして、そのすべての後でも、自然選択は相変わらず盲目で愚かな神だ。細胞も有性生殖もあるのに、遺伝子プールは進化して絶滅することがある。
確かに自然選択は、新しい適応がさらに別の適応への道を開くという意味では、自らを糧にする。だがそれは対象水準で起きる。遺伝子プールは自分の複雑さを糧にするが、それが可能なのは、背後で自然選択という保護されたインタープリターが動き、そのインタープリター自体は種の進化によって書き換えられたり変えられたりしないからだ。
同様に、人間は科学や技術を発明するが、人間の脳そのものの保護された構造を書き換えることは、まだ始めていない。最初に農業を発明した人々と同じく、前頭前皮質、側頭皮質、小脳を持っている。自分たちを遺伝子工学で改造し始めたわけではない。対象水準では科学が科学を糧にし、新しい発見がさらに発見への道を開く。だがそれはすべて、保護されたインタープリターである人間の脳が、背後で手を加えられずに動いている中で起きる。
科学のように、人間へ考え方を教えようとするメタ水準の発明はある。だが、最初にベイズの定理を発明した人は、それでベイズ的な心になったわけではない。自分を書き換える知識も力もなかった。文字や科学など、思考の技の重要な発明は、人類史の流れを形作るほど強力だ。だが複雑さでは脳そのものに及ばず、脳への影響も比較的浅い。
合理性の訓練の現在の最先端でも、無作為に選んだ人をアルバート・アインシュタインに変えるには足りない。このことは、20世紀に書かれた自己啓発本を全部集めたものに比べて、脳設計のわずかな遺伝的な癖が持つ力を示している。
脳は背後で見えないまま動き続けているので、人はその寄与を見落とし、当然と思いがちだ。そして「考えを実験で検証しよう」という単純な指示や、p < 0.05という有意性の規則が、人間の脳全体と同じ規模の貢献であるかのように語る。チンパンジーに、考えを実験で検証するよう言って、どこまで通用するか見てみよう。
さて……私たちの中には、機械語の水準にいたるまで自分を知的に再設計できる知能を、知的に設計したいと望む者がいる。
最初は機械語が、その後には物理法則が、一種の保護された水準になるだろう。だが、その「保護された水準」には最適化の動態が含まれない。保護された水準が、仕事の仕組みを決めるわけではない。学校で何を教えようとしても、人間の脳はそれ自体でかなりの最適化をし、それ自体で失敗する。だが、この自分の全体を包み込む再帰的な最適化者には、最適化を行う保護された水準がない。最適化の構造すべてが、それ自体、最適化の対象になる。
これは最初の複製子以来の過去全体と断絶する大転換だ。保護されたメタ水準という、それまでの形式を破るからである。
これまでの地球史は、最適化者が一定の速度で車輪を回し、一定の最適化圧を生む歴史だった。そして最適化された産物は、一定の速度ではなく、加速しながら作られてきた。対象水準の革新が、別の対象水準の革新への道を開くからだ。だがその加速は、実際の最適化を保護されたメタ水準が行っている中で起きる。探索空間で島から島へ跳び移り、よい島の隣にはさらによい島がありがちだが、跳ぶ者の脚は変わらない、というようなものだ。ときおり、有性生殖や科学のような、ごく小さな変化がメタ水準へ届く。すると最適化の歴史は新時代に入り、そこからすべてが速く進む。
投資のない経済、言語のない大学、道具を作る道具のない技術を想像してほしい。1億年に一度、あるいは数世紀に一度、誰かが金槌を発明する。
これまでの地球の最適化は、そんなものだった。
地球の歴史を見るとき、私には最適化の時間的な推移の歴史は見えない。見えるのは、最適化能力を入力して、最適化された産物を出力する歴史だ。これまでは、ほぼ完全に保護されたメタ水準があったおかげで、最適化の歴史を時代に分け、それぞれの時代の中で、累積した対象水準の最適化を時間に対してグラフにできた。保護された水準は背後で動き、一つの時代の中では、それ自体は変わらなかったからだ。
自分の全体を包み込み、再帰的に自己改良するAIを作ると、何が起こるだろう？ 「最適化を入力し、最適化されたものを出力する」グラフを、それ自身へ折り返すことになる。比喩的に言えば、だ。
AIが弱ければ、何も起きない。自分を大きく改良できるほど強力ではないからだ。チンパンジーに、自分の脳を書き換えろと言うようなものだ。
AIが、さらに改良する能力を高めるように自分を書き換えられるほど強力であり、それが、自分のソースコードと、最適化者としての自分の設計を完全に理解するところまで及ぶなら……「最適化能力の入力」と「最適化された産物の出力」のグラフが本質的には同じでも、最適化の時間的な推移のグラフは、これまでの地球史とはまったく違うものになる。
人はよく、「でも、線形の改良しか得られないのに、自己書き換え量は指数関数的に増やさなければならなかったら？」と言う。これへの明らかな答えは、「自然選択は、人間をどうにか生み出す過程で、ヒトの系統にほぼ一定の最適化能力を働かせていた。線形の改良一段階ごとに、指数関数的に長い時間が必要だったようには見えない」だ。
これらはすべて、まだ類推による推論にすぎない。最適化の性質を考え、自分でAI研究を行い、自分のソースコードを書き換える完全な汎用人工知能は、本当には、地球史のグラフを自身へ折り返したようなものではない。別種の存在だ。こうした類推はせいぜい定性的な予測に役立つだけだし、それについてさえ、私はまだ説明していない多くの信念を持っていて、それらがどの類推をすべきかなどを教えている。
だが、生物的、経済的な成長の時間的な推移を表すグラフを、トランジスターの速度で考え、自己複製する分子ナノ工場を発明し、自分のソースコードを改良するAIの地平を越えて未来へ延長することに、なぜ私がためらうのか知りたいなら、これが理由だ。描いているグラフが違う。最適化された産物と時間の関係ではなく、入力する最適化能力と、出力される最適化された産物の関係を描くべきなのだ。