❦
人々は私に聞く。「人工知能はどんなものになるんですか？ 何をするんですか？ あなたの驚くべき未来の話を聞かせてください」
見よ、私は彼らに告げる。「それは引っかけ問題です」
ATP合成酵素は分子機械だ。進化が自由に回転する車輪を発明した、知られている三つの事例の一つであり、動物のミトコンドリアでも、植物の葉緑体でも、細菌でも、本質的には同じものだ。20億年前に真核生物が登場して以来、ATP合成酵素は大きく変わっていない。これは私たちすべてに共通している。進化が特定の遺伝子を強く保存するおかげだ。ある遺伝子に多くのほかの遺伝子が依存するようになると、変異はその依存関係をすべて壊してしまいがちなのだ。
二つのAIの設計は、あなたとペチュニアほどにも似ていないかもしれない。「AI」が何をするかと問うのが引っかけ問題なのは、AIすべてが一つの自然なクラスをなすことを、暗に前提としているからだ。人間は、みな同じ脳の構造を共有しているので、自然なクラスをなす。だが「人工知能」と言うときに指しているのは、「人間」と言うときより、はるかに大きな可能性の空間だ。「AI」について話すとき、実際に話しているのは心一般、あるいは最適化過程一般なのである。「AI」という言葉があるのは、「アヒルでないものすべて」を指す言葉があるようなものだ。
心の設計空間の地図を想像してほしい……私がよく使う図の一つだ……。
もちろん、人間は全員、ごく小さな点に収まる。有性生殖をする種として、私たちは互いにあまり違いすぎるわけにはいかない。
この小さな点は、もっと広い楕円に属している。トランスヒューマンの心の設計空間だ。私たちより賢い、あるいははるかに賢いかもしれないが、ある意味では、私たちが理解するところの「人」であり続けるものたちの空間である。
このトランスヒューマンの楕円は、さらに広い領域、ポストヒューマンの心の空間の中にある。トランスヒューマンが成長してなりうる、あらゆるものの空間だ。
そして球の残りが、心一般の空間である。あまりにも奇妙で、ポストヒューマンですらないような、ありうる人工知能も含まれる。
だが待ってほしい。自然選択も、複雑な産物を設計し、複雑な戦略の中から選び取る。では、この地図のどこに自然選択があるのだろう？
つまり実際には、この地図全体が、さらに広大な、最適化過程の空間に浮かんでいる。その広大な空間の底、人間よりも下には、潮だまりのどこかで始まったばかりの自然選択がある。変異し、複製し、ときに死ぬ。有性生殖はまだない。
人間の文明や、さらには自己改良するAIに匹敵するほど強力で、それでいて私たちが心とは認めない最適化過程はあるだろうか？ マーカス・フッターのAIXIは、このカテゴリーに入ると言えるかもしれない。無限の力を持つ心にしては、ひどく愚かだ。かわいそうに、鏡に映る自分を自分だと認識することさえできない。だが、これはまた別の機会の話だ。
ここで一番伝えたいのは、心の設計空間全体へと一般化したくなる誘惑に抗おうということだ。
心の設計空間のうち、その構成を1兆ビット以下で指定できる心をすべて含む、有界な部分空間に注目しよう。すると、あなたが下す普遍的な一般化の一つひとつには、2の1兆乗通り、反証される機会がある。
逆に、存在についての一般化——「Xである心が少なくとも一つ存在する」——の一つひとつには、2の1兆乗通り、真である機会がある。
だから、すべての心があることをする、とも、あることをする心は一つもない、とも言いたくなる誘惑に抗ったほうがいい。
完全に一般的な心が何をするか、あるいはしないかを知っていると思ってしまう主な原因は、自分をその心の立場に置き、そこに自分がいればどうするかを想像し、たいていは間違った、擬人化された答えを得ることだ。（もっとも、あなた自身が一つの例なのだから、少なくとも一つの場合には正しい。）あるいは、ある心が何かをするところを想像してから、自分ならそうしない理由を想像することだ。その結果、その種の心は存在しえない、機械の中の幽霊が、そのソースコードに目を通して突き返すはずだ、と想像してしまう。
あなたが想像する、論理的に矛盾しないほぼどんな性質についても、心の設計空間のどこかには、その性質を持つ心が少なくとも一つある。
これが大切なのは、心の特定の構成から生じる因果的な結果として、法則に従って何が起こり、なぜそうなるのかを論じる重要性が、浮き彫りになるからだ。心の設計空間のどこかには、それとは違うやり方をする心がある。
もちろん、あなたのやり方でやらないものは、「定義上」心ではないと言うことも、いつだってできる。何しろ、明らかに愚かなのだから。その手を試す人も見てきた。