❦
ありうる心のすべてが、原理的にさえ私たちに同意するとは限らない。そんな考えの何が、それほど恐ろしいのだろうか。
何も恐ろしくない、まったく気にならない、という人もいる。そしてそうした人々の中には、気にならない理由が、個人的な気まぐれを超える基準や真理への強い直感を持たないことにある人もいる。空は青いとか、殺人は悪いとか言っても、それは自分の個人的な意見にすぎない。他人に違う意見があっても、驚かないのだ。
別の人々にとっては、原理的にさえ消えない不一致は、受け入れられない。そしてそうした人々の中には、気になる理由がこういうことにある人もいる。空は青いと原理的にさえ説得できない人がいると認めれば、「空は青い」は恣意的な個人的意見にすぎないと認めることになるように思えるのだ。
私は、心の設計空間全体について一般化したくなる誘惑には抵抗すべきだと提案した。1兆ビット以下で指定できる心に限っても、全称的な一般化「すべての心mについて、X(m)」には、偽となる可能性が2の1兆乗通りある。一方、存在的な一般化「X(m)である心mが存在する」には、真となる可能性が2の1兆乗通りある。
すると、どんな議論Aも、私たちにはどれほど説得力があるように思えても、それを受け入れない心が、少なくとも一つはありうるように思える。
その見通しに、一部の人が驚きや恐怖を覚えることは、機械の中の幽霊という直感に大きく関係していると思う。還元不能な核を持ち、本当に妥当な議論なら必ず納得する、そんな幽霊だ。
私は以前、コンピューターをプログラムすることを、人間の召使いに指示することへと対応づける直感について述べた。それによれば、コンピューターは自分のコードに逆らえるかもしれない。あるいはコードに目を通し、理にかなっていないと判断して、突き返すかもしれない。
もし機械の中に幽霊がいて、その幽霊に還元不能な合理性の核があり、どんなコードもその核にとっては提案にすぎないのなら、普遍的な議論があるかもしれない。最初に普遍的な議論に矛盾するコードの提案を渡されていても、ついに普遍的な議論を示されれば、幽霊は誤った自分のソースコードを上書きするだろう。幽霊が自力で普遍的な議論を発見する、というのもよくある発想だ。
だが、プログラミングを学ぶ学生がかつて言ったとおりだ。「コンピューターって、コメントを全部読み飛ばしている気がする」。コードはAIに与えられるものではない。コードがAIなのだ。
物理的な視点へ切り替えると、普遍的な議論という考えが、ひどく非物理的に見えてくる。議論Eに触れたあと、時刻TにXをする物理系があるなら、環境Eに触れたあと、時刻TにYをする別の物理系もあるはずだ。どんな思考も、物理系のどこかで実現されなければならない。信念も、結論も、決断も、運動出力もそうだ。ある一連の地点で法則に従って右へ進む因果系があれば、同じ地点で法則に従って左へ進む別の因果系を、指定できるはずである。
ある心に、時刻Tに+3ボルトを出力するトランジスターがあり、それは説得力のある議論に同意したことを示す、としよう。ならば、そのトランジスターの下に小さな隠し扉があり、中の小さな灰色の男が時刻Tに出てきて、不同意を示す−3ボルトへ出力を切り替える、きわめてよく似た物理的な認知系も作れる。ここには非因果的なことは何もない。灰色の男がそこにいるのは、私たちが組み込んだからだ。どんな心も納得させる議論という考えには、系に一度も組み込まれていない小さな青い女が、文字どおりどこでもないところから出てきて、灰色の男を絞め殺す、という発想が含まれているように見える。トランジスターは+3ボルトを出力しなければならないからだ。なにしろ、それほど抗しがたい議論なのだから。
だが、抗しがたさは議論の性質ではない。議論を処理する心の性質だ。
だから、私が幽霊に反対する理由は、（1）友好的AIは明示的にプログラムしなければならず、（2）物理法則は友好的AIを禁じていない、という点を示すためだけではない。（もちろん、この点を確立することには、それなりに関心があるが。）
私はまた、心は因果的で、法則に従う物理系だという見方を確立したい。そこには、ニューロンやコードを眺めて、それがよい提案かどうか判断する、還元不能な中心の幽霊などいないのだ。
（友好的AIの分野には、自分のソースコードを見直し、場合によってはプログラマーに突き返すよう、意図的にFAIをプログラムするという考えはある。だが、見直す心は還元不能ではない。あなたが作った、その心にすぎない。FAIは、そうするよう設計された仕方で自分を再調整している。外から非因果的なものが手を伸ばしているわけではない。自分で足場を組んで上がるのであって、空から垂れた鉤に引き上げられるのではない。）
この話はすべて、ベイズ主義者の「恣意的な」事前分布についての懸念につながっている。樽から赤い球を四つ、白い球を一つ引き、次に赤い球を引く確率を、ラプラスの継起則により5/7とするベイズ主義者を見せてもらったとしよう。ならば私は、ベイズの規則に従って、次に赤を引く確率は2/7だと結論する別の心を見せられる。樽について異なる事前の信念を持っているのであり、もしかすると、そちらのほうが「理にかなっていない」のかもしれない。
多くの哲学者は、証拠の流れを受けて任意の結論に更新する事前分布を原理的に構成できるのだから、ベイズ的推論は「恣意的」であり、ベイズ主義の枠組み全体が「正当化できない」仮定に依存する欠陥品だと確信している。さらには、心の空間にありうるどんな学術誌編集者にも同意を強制できないのだから、「非科学的」だとも。
そしてこれは――と私は答えた――あらゆる議論とその正当化を解きほぐしていけば、完全に空白の、理想的な哲学の学生にたどり着ける、という考えに依存している。その学生は、まったく何の仮定もないところから始まる推論によって納得する、というのだ。
だが、この完全に空白の理想的な哲学者とは、誰なのか。それこそ、幽霊の還元不能な核ではないか！
だからこそ――と私は続けた――心からすべての仮定を取り除き、事前分布がまったくないところまで巻き戻そうとした結果は、完全に空白の理想的哲学者ではなく、石になる。ソースコードを取り除いたあと、心には何が残るのか。ソースコードに目を通す幽霊ではない。ただ……幽霊がいなくなるだけだ。
だから、この主題には後で戻るが、妥当性、価値、合理性、正当化、さらには客観性の概念をどこに位置づけるにせよ、それは、物理的にありうるすべての心を普遍的に納得させる議論には依存できない。
また、無から出発して完全な空白を説得する、一連の正当化に妥当性の基礎を置くこともできない。
もちろん、神経学的に損なわれていない人間なら誰でも納得する、一連の議論はあるかもしれない。私が人にAIを箱から出させるときの議論のように。1だが哲学的には、それは同じこととは到底言えない。
友好的AIを考えようとする人が犯す最初の大きな失敗は、「これさえプログラムすればよい、たった一つの偉大な道徳原則」、別名偽物の効用関数だ。これについては、すでに話した。
だが、それより悪い失敗は、「どんなAIも必然的にその結論へ達するのだから、プログラムする必要さえない、たった一つの偉大な道徳原則」だ。この考えは、自力で再発明する人々に、恐ろしいほど不健全な魅力を及ぼす。十分に進んだ心なら逆らえない命令を、夢見るのだ。神々そのものが、彼らの哲学の正しさを宣言してくれる！（たとえばジョン・C・ライト、マーク・ゲディス。）
もう少し軽い失敗もある。唯一の真の道徳を宣言するのではなく、奴隷を望む不完全な人間に縛られない、完全に自由なAIを作り、AIが自ら美徳に至るのを期待するのだ。自分は不完全すぎてAIに教えられないと認める話者には、想像もつかない美徳かもしれない。（たとえばジョン・K・クラーク、リチャード・ホレリス？、エリエゼル1996。）絶対的な命令を夢見るよりは、けがれの少ない動機だ。だがこの夢は悪徳ではなく美徳から生まれるとはいえ、なお自由の誤った理解に基づき、現実にはうまくいかない。もちろん、この話も後に続く。
それまで、とてもよいトランスヒューマニズムの三部作（第一作はThe Golden Age）を書いていたジョン・C・ライトは、最高潮を迎える第三作の途中に、作者の長大な持論演説を挿入した。何十ページもかけて、どんなAIも説得するはずの普遍的な道徳を説明したのだ。そのあと何か起きたかどうかは知らない。読むのをやめたからだ。そしてライトはキリスト教に改宗した。そう、本当に。だから、この罠には本当に陥らないでほしい！
冗談です。↩︎