❦
「子どものころの死の螺旋」では、私を間違いへと運んだ中心的な勢いについて述べた。エリエザー1996が「知能」と呼んでいたものを中心とする、感情の死の螺旋だ。また私は技術好きでもあり、未来を恐れることには、あらかじめアレルギーがあった。そして、人間であるかどうかではなく人格を持つ存在としての倫理を軸にしたSFを、大量に読んでいた。そうした物語では、異質な存在への恐怖から、人類全体が悪役の位置に立つ。異星人や感覚のあるAIを、「人間ではない」という理由で虐待するのだ。
それもSFから身につける精神の一部だ。自分の内集団、自分の部族を、適切に広く定義すること。だから私のメールアドレスは、[email protected]なのである。
そういうわけで、エリエザー1996は、人類と、感覚を持つすべての生命のために、超知能を作ろうとしている。
最初は、超知能が善になるのか悪になるのか、善にも悪にもなりうるのかという問題を、別個の論点として考えることさえ、実際にはなかったと思う。ただ、お決まりの直観があっただけだ。「超知能が、銀河をペーパークリップに変えるほど愚かなわけがない。あれほど知的なのだから、何が正しいかも、人間よりはるかによくわかるに決まっている」
それが変わったのは、トランスヒューマニストのメーリングリストで自己紹介し、自分の目標を話したときだった。返ってきた反応は、おおむね次のようなものだった。記憶を頼りに挙げる。
道徳は恣意的です。何かを善だとか悪だとか言っても、それが正しいとも間違っているとも言えません。超知能は自分自身の道徳を作るでしょう。
結局、誰もが自分の利益を追求します。超知能も同じで、資源をすべて奪うだけでしょう。
私自身は人間ですから、人工知能ではなく人間の味方です。この技術を開発すべきだとは思いません。それより先に、人間をアップロードする技術を開発すべきです。
AIを監視し、悪いことを絶対にできないようにする制御システムなしに、AIを開発してはいけません。
いや、そんなものは全部明らかに間違っている、とエリエザー1996は考え、反対者たちの論拠を蹴り砕いていった。（その大半は別のエッセイで私も反駁した。残りは読者への練習問題としておこう。）
エリエザー1996が、「世界一愚かな男が太陽は輝いていると言う。したがって外は暗い」と明示的に推論したわけではない。しかしエリエザー1996は、伝統的な合理主義者だった。科学とは、異なる立場を取る陣営どうしのフェアな戦いだという比喩を叩き込まれていた。ただの暴力や、そうした政治力の行使を取り除き、理想的には、最もよい論拠を持つ側が勝てる戦いだ。
他人の議論のどこが間違っているかを指摘するほうが、その問題の真相を正しく捉えるより簡単だ。そしてエリエザー1996は、欠陥を見つけるのが非常にうまかった。（今の私もそうだ。欠陥を気にしないことにしても、その能力の危険性を解決できるわけではない。）エリエザー1996から見ると、自分の選んだ側が戦いに勝っているように思えた。自分は相手よりよい論拠を組み立てている。なら、なぜ反対側に移る必要があるのか。
だからこそ、こう書かれている。「この世界には、合理性への理解がひどく乏しい人が大勢いる。そのため合理性を学び始めた人は、議論に勝って、自分の能力を過大評価する。しかし、他人より優れていても役に立たない。人生は相対評価ではない。古代ギリシャで最高の物理学者でも、落ちるリンゴの軌道は計算できなかった。全力を尽くしたところで、必要な水準に達せる保証はない。だから、ほかの人が自分よりできていないかどうかに、思考を一切割いてはならない」
自分の間違いを議論で正してもらうのに、ほかの誰も当てにはできない。自分を救ってもらうのに、ほかの誰も当てにはできない。自分の立場の欠陥を見つける責任は、あなたに、あなただけにある。その重荷を下ろしても、誰かが拾ってくれると思ってはいけない。そして私は思う。この助言は、実際に自分の足を吹き飛ばし、その間ずっと「明らかにこの議論では私が勝っている」と正しく言い続けた経験をするまで、ほとんどの人には役に立たないのかもしれない。
今の私は、どんな人間も自分の対戦相手だとは考えないようにしている。それは過信につながるだけだからだ。私が相手にしているのは自然である。自然は、あなたの力量に合わせて問題を用意してくれない。勤勉に努力した見返りに、勝てる公平な機会を与える義務もない。必要な水準に十分達していなければ、あなたが史上最高であろうと気にしない。
だが、1996年に戻ろう。エリエザー1996は、「何が正しいかは、超知能のほうが私たちよりよくわかるに決まっている」という基本的直観に従い、自分の立場へのさまざまな反論を、こともなげに打ち倒している。そういうことには長けていたのだ。物事の欠陥を探すのがなぜ賢明なのか、といったことについて、独自の哲学さえ持っていた。
エリエザー1996に反論した人は誰も、この謎の解消を実際には示さなかった。「道徳」をめぐって議論する彼の認知過程をすべて分析する、道徳の完全な還元、道徳を事実のように感じさせるアルゴリズムを一歩ずつ解き明かす説明は、誰も提示しなかった。だが、これを言い訳にするつもりはない。むしろ、エリエザー1996の水準を示す告発として受け取ってほしい。彼が反駁できない論拠を示すには、完全な解答を丸ごと与える必要があった、ということだ。
そこにいた数人の哲学者も、彼を苦境から引き出さなかった。哲学者が、「残念ですが、道徳はすでに理解されています。認知科学と哲学では決着済みの問題であり、あなたの見方は単に間違っています」と言うわけではない。道徳の本性は、哲学では今も未解決の問いだ。議論はまだ続いている。哲学者は、各立場の古典的論拠を一覧にして示す義務があると感じるだろう。その大半は、エリエザー1996の知性で十分打ち倒せる。こうして彼は、哲学は荒れ地だと結論する。
だが待ってほしい。話はさらに悪くなる。
正確にいつだったかは覚えていない。1997年だったかもしれない。だが若き日の私――エリエザー1997と呼ぼう――は、超知能を作ることこそ正しいのだと、逃れようのない形で論証しようとした。