❦
原理上さえ、あらゆる可能な心が私たちに同意するとは限らないという考えの何が、それほど恐ろしいのか？
ある人々にとっては何でもない。まったく気にならない。そのような人々の一部にとって、気にならない理由は、個人的な気まぐれを超えた基準や真実について、強い直観を持っていないことにある。彼らが、空は青い、あるいは殺人は間違っていると言うなら、それはただの個人的意見である。他の誰かが別の意見を持っていても、彼らは驚かない。
また別の人々にとっては、原理上さえ残り続ける意見の不一致は受け入れられない。そのような人々の一部にとって、それが気になる理由は次のようなものである。空は青いと、一部の人々は原理上さえ説得できないことを認めてしまえば、「空は青い」はただの恣意的な個人の意見だと認めることになるように、彼らには思えるのだ。
私はかつて、心の設計空間（mind design space）全体にわたって一般化したくなる誘惑には、抗うべきだと提案した。仕様を1兆ビット以下で記述できる心に限定すると、それぞれの全称一般化「すべての心mについて：X（m）」は、2の1兆乗通りの偽となる可能性を持つ一方、それぞれの存在一般化「次を満たす心mが存在する：X（m）」は、2の1兆乗通りの真となる可能性を持つ。
これは、あらゆる議論Aについて、それが私たちにどれほど説得的に見えようと、それを買わない可能な心が少なくとも一つは存在することを示唆するように見える。
そして、この可能性が（一部の人に）与える驚きや恐怖は、機械の中の幽霊という直観に大きく関係していると、私は思う。その幽霊は、あらゆる真に妥当な議論に説得される、還元不可能な核心を持っている。
私は以前、人々の持つある直観について語った。その直観により人々が対応づけるのは、コンピュータをプログラムすることと人間の使用人に指示することである。だからコンピュータはコードに反逆するかもしれず、あるいはコードに目を通し、理にかなっていないと判断して、突き返すかもしれない。
機械の中に幽霊がいて、どんな単なるコードもその上では提案にすぎない、還元不可能な理性の核心を幽霊が内包しているなら、普遍的議論は存在するかもしれない。幽霊が最初に普遍的議論と矛盾するコードの提案を与えられていても、私たちがついに幽霊を普遍的議論にさらしたなら、幽霊は間違った自身のソースコードをただ無視するだろう。幽霊が自ら普遍的議論を発見することもできるというのも、よくある考えである。
しかし、かつてある学生プログラマが「コンピュータはコメントを全部飛ばしているような気がする」と言ったように、コードはAIに与えられるのではない。コードそのものがAIなのである。
物理的視点に切り替えると、普遍的議論という概念は目に見えて非物理的に思える。時刻Tに、議論Eにさらされた後でXをする物理システムがあるなら、時刻Tに、環境Eにさらされた後でYをする別の物理システムがあるはずだ。あらゆる思考は、信念も結論も決定も運動出力も、物理システム内のどこかで実装されねばならない。ある一組の点で法則的に右へ曲がる因果システムがあるたびに、同じ点で法則的に左へ曲がる別の因果システムを仕様化できるはずである。
ある説得力のある議論に賛同したことを示すため、時刻Tに+3ボルトを出力するトランジスタを持つ心があるとしよう。それなら、そのトランジスタの下にごく小さな落とし戸があり、そこから時刻Tに小さな灰色の男がよじ登ってきて、そのトランジスタの出力を非賛同を示す−3ボルトに設定する、非常によく似た物理的認知システムを作れる。そこには何も非因果的なことはない。小さな灰色の男は、私たちが組み込んだからそこにいる。あらゆる心を説得する議論という概念は、そのシステムに決して組み込まれていない小さな青い女性を必要とするように見える。彼女は文字通り無からよじ登ってきて小さな灰色の男を絞め殺す。なぜなら、そのトランジスタは+3ボルトを出力しなければならないからだ。それほど説得力のある議論なのだ。
しかし、強制力は議論の属性ではない。議論を処理する心の属性である。
したがって、私が幽霊に反対する議論をする理由は、（1）友好的AI（Friendly AI）は明示的にプログラムされねばならないこと、（2）物理法則は友好的AIを禁じていないことを指摘するためだけではない。（むろん、これを確立することに私がある程度の関心を持っているのは確かだが。）
それに加え、心とは因果的で、法則に従う、物理的システムであり、ニューロンやコードを見渡してそれが良い提案かどうかを決める、還元不可能な中央の幽霊は存在しないという概念をも確立したい。
（友好的AIには、FAIが自身のソースコードを見直し、プログラマに突き返すことさえありうるよう、意図的にプログラムするという概念がある。しかし見直す心は還元不可能ではない。それは単に、あなたが創った心である。FAIは、どのように行うよう設計されたにせよ、そのように自己を再正規化している。外部から手を伸ばす非因果的なものは何もない。空から垂れたフックではなく、自力で引き上げるブートストラップである。）
これらすべては、ベイズ主義者の「恣意的な」事前確率についての懸念、その事前確率へと響き返っていく。一つの樽から赤玉4個と白玉1個を引き、次に赤玉を得る確率に（Laplaceの継起則により）5/7を割り当てるベイズ主義者を一人見せられたら、私はBayesの規則に従い、次に赤を得る確率は2/7だと結論する別の心を見せられる。それは樽について異なる事前信念を持つことに対応し、おそらく、より「合理的」ではない事前信念である。
証拠の流れから与えられたどんな結論へも更新する事前確率を原理上構成できるのだから、ベイズ的推論は「恣意的」でなければならず、ベイズ主義の枠組み全体が欠陥を持つと、多くの哲学者が確信している。その枠組みは「正当化不可能」な仮定に依存するために欠陥があり、しかも心の空間にいるあらゆる可能な学術誌編集者を強制して自分に同意させられないため、「非科学的」でさえあるというのだ。
そしてこれは、あらゆる議論とその正当化を巻き戻すことで、何の仮定もないところから始まる推論の列に説得される、完全に空っぽな理想的哲学学生が得られるという概念に依存していると、私は答えた。
だが、この完全に空っぽな理想的哲学者とは誰か？ ほかでもない、幽霊の還元不可能な核心である！
そしてこれが、心からあらゆる仮定を取り除き、いかなる事前確率も完全に欠けたところまで巻き戻そうとした結果、得られるのは完全に空っぽな理想的哲学者ではなく、岩石なのだと私が続けて言った理由である。ソースコードを取り除いた後、心の何が残るのか？ ソースコードを見渡す幽霊ではなく、単に……幽霊は何も残らない。
したがって、この主題は後で再び取り上げるが、あなたが妥当性、価値、合理性、正当化、さらには客観性についての概念をどこに求めるにせよ、それは物理的に可能なあらゆる心を普遍的に説得する議論に依存できない。
また、何もないところから始まり、完全な空虚を説得する正当化の列に、妥当性を基礎づけることもできない。
むろん、神経学的に損傷のないあらゆる人間を強く説得する議論の列はあるかもしれない。たとえば私が、人々にAIを箱から出させるために使う議論である。1しかし哲学的視点から見れば、それとこれはほとんど同じことではない。
友好的AIを考えようとする人々がまず大きく失敗するのは、「私たちがプログラムすべきすべてである、ただ一つの偉大な道徳原理」、すなわち偽の効用関数である。これについてはすでに語った。
しかし、さらにひどい失敗は、「どんなAIも必然的にそれを結論するはずなので、私たちがプログラムする必要すらない、ただ一つの偉大な道徳原理」である。この概念は、それを独立に再発明した人々に、恐ろしく不健全な魅力を及ぼす。彼らは、十分に進歩した心なら従わざるを得ない命令を夢見る。神々自身が彼らの哲学の正しさを宣言するのだ！（例：John C. Wright、Marc Geddes。）
それほど深刻でない版の失敗もある。そこでは、その人は「唯一の真の道徳」を宣言しない。むしろ、奴隷を欲する欠陥ある人間に制約されず、完全に自由に創られたAIを望む。そうすればAIは自ら徳に至るかもしれない。それは話し手が夢にも見たことのない徳かもしれず、話し手は自分に欠陥がありすぎてAIに教えられないと告白する。（例：John K. Clark、Richard Hollerith?、Eliezer1996。）これは絶対的命令の夢よりも穢れの少ない動機である。しかしこの夢は悪徳ではなく徳から生まれるとはいえ、自由についての欠陥ある理解に依然として基づいており、現実には機能しない。これについては、むろん後でさらに語る。
以前、とてもよいトランスヒューマニスト三部作（第一作：The Golden Age）を書いていたJohn C. Wrightは、クライマックスの第三作の真ん中に、「あらゆるAIを説得しなければならない普遍的道徳」を何十ページにもわたって描写する、巨大な「著者による議事妨害」を挿入した。私は読むのをやめたので、その後何かが起きたのかは知らない。そしてその後、Wrightはキリスト教に改宗した。そう、本当である。だからあなたは、この罠には本当に陥りたくないはずだ！
ほんの冗談である。 ↩︎