❦
青二才のまったくの愚かさが口を利いている。お前たち儚い種族の一員にしか持ちえないほど底知れぬ無知が生む、無謀さだ……
昔々、何年も前、私は神秘的な問いへ神秘的な答えを提示した――何度かほのめかしてきたとおりである。だが、私が神秘的な答えを提示した神秘的な問いは、意識ではなかった――より正確には、意識だけではなかった。いや、さらに恥ずかしい誤りは、道徳を神秘的に捉えたことだった。
これを今まで、メタ倫理に関する連載の後まで論じずにいたのは、エリエザー1997が実際に誤っていたことを、明らかにしたかったからである。
前回話を終えたとき、エリエザー1997は、超知能が道徳的になると直感的な意味で論じるだけでは満足せず、超知能を創造することが正しい行いだと逃れようなく論じようとしていた。
では、とエリエザー1997は言った。まず次の問いから始めよう。実際、生命には何らかの意味があるか？
「分からない」と、エリエザー1997はただちに答えた。ほかの多くの者が確信しているらしい話題について、自分の無知を認めたことを、いささか誇る響きがあった。
「だが」と、彼は続けた――
（無知の告白の後に「だが」が続いたら、必ず用心せよ。）
「だが、生命には意味がない――あらゆる結果の効用がゼロに等しい――と仮定すると、その可能性はどんな期待効用の計算からも相殺される。ゆえに、意味が何か分からなくても、常に生命には意味があると分かっているかのように行動できる。どうすればその意味を見いだせるか？ 人間が今なお議論していることを考えれば、人間には解けないほど難しい問題なのだろう。だから私たちに代わって問題を解く超知能が必要だ。ある選好をほかより選ぶ論理的正当化がない可能性については、この場合、超知能を構築することは、ほかの何かをすることより正しくも誤ってもいない。これは現実の可能性だが、期待効用を計算しようとするどんな試みからも抜け落ちる――単に無視すべきだ。超知能は人類を一掃すると誰かが言うかぎり、その者は、人類を一掃することが実際に正しい行いだ（なぜそうなるか、私たちには理由が何も見えないにもかかわらず）と論じているか、正しい行いなど存在しないと論じている（その場合、知能を構築すべきでないという議論は自滅する）か、どちらかである。」
うぐっ。これは書くのが本当に難しい段落だった。過去の自分は、常に私自身にとって最も濃縮されたクリプトナイトである。過去の自分は、現代の私が阻止するためアレルギーを組み込んだ、まさに正確にそのすべてだからだ。親は子供にするなと言うことをすべて行うから、してはいけないと知っている、とまことに言われる。それは過去と未来の自己の間にも当てはまる。
エリエザー1997の議論は、どれほど欠陥があるか？ 私には、その欠陥を数え上げることさえできない。記憶は誤りやすく、思い出すたび再構成されると知っているため、現代の心を使って、こうした古い断片を組み立てたものを信用していない。古い文章を読めとは言わないでほしい。苦痛が大きすぎる。
だが、私が効用を、ある種の物質、内在的な性質と考えていたことは明らかに見える。だから「生命には意味がない」は、効用 = 0に対応した。だがもちろん、この議論は効用 = 100でも同じように働く。したがって、すべてに意味があるが、それがすべて等しく意味を持つなら、それも抜け落ちるはずだ……当時の私は、効用関数を、選好上のアフィン構造として考えていなかったことは確かだ。「効用」を、内在的価値の絶対水準として考えていた。
私は、べきを、強制力の純粋に抽象的な本質、何かを行わせるものと考えていた。そのため、べきを導出したどんな心も、明らかにそれへ拘束されると考えた。ゆえに、恣意的な心へ何かを行うよう強制する論理は、人間が「正しい」という言葉を発するときに意味し、参照するものと、まったく同じだという仮定が生じた。エリエザー1997は、その仮定を明示的に記すことさえ思いつかなかった……
だが今、私は仕方を数えようとしている。そして、ここまでついて来たなら、自分で扱えるはずだ。
この失敗全体の重要な側面は、「生命には意味がない」場合は考慮に値しないと証明したため、「知能」や「意味」を厳密に定義する必要はないと思ったことだった。それ以前にも、「知能」（または「道徳」）を定義しようとするとき、全面的に形式的かつ厳密になろうとしない巧妙な理由を考えついていた。すなわち、過去のAI研究者、哲学者、道徳論者が、要点を外した定義を使って行ってきた、あらゆるおとり商法である。
私は次の教訓を引き出す。基準を緩めたり、厳密さの何らかの要件を回避したりする正当化が、どれほど巧妙でも、まったく同じように自分の足を吹き飛ばす。
そして、もう一つの教訓。私は反駁に長けていた。自分へ持ち出された議論を打ち破るため使ったのと同じ水準で、欠陥が一つでもあれば退けることを自分の立場へ適用していたなら、論理的な隙間へ照準を合わせ、その立場を退けていただろう――そうすることを望んでいたなら。議論中のほかの立場に対して持っていたのと同じ水準の偏見を、この立場へ持っていたなら。
だがこれは、カーネマンを聞いたことも、「動機づけられた懐疑」という言葉を聞いたこともなく、すべての証拠を要約する厳密に正しい不確実性の状態という概念を統合したこともなく、好む立場へ「信じてもよいか？」と尋ね、嫌う立場へ「信じることを強いられるか？」と尋ねることの致命性を知る前だった。私は、科学的過程を、立場を取り議論する人々の間にいる審判、最も優れた陣営が勝つように、と考えるだけの伝統的合理主義者にすぎなかった。
私の究極的な欠陥は、「知能」への好意でも、テクノフィリアがどれほどあり、SFが感覚ある者同士の同胞関係をどれほど称揚したことでもない。まして欠陥を見つける能力ではなかった。全体を通じて、より高い厳密さの基準を自分へ課し、そうでなければ立場を何も採用しなかったなら、こうしたもののどれも、私を道から逸らすことはできなかった。あるいは、好ましい曖昧な立場を、反論へ適用したのと同じ厳密さの要求で精査しただけでもよかった。
だが私は、生命に意味があるという信念を反駁しようとすることには、あまり興味がなかった。私の推論は、生命に意味がある場合によって、常に支配されるはずだったからだ。
そして知能爆発が懸かっている以上、当時振るえた最善の概念を使って全速力で進まなければならず、ほかの非常に多くの者が台無しにしてきた完全な定義を探すあいだ、立ち止まってすべてを停止するわけにはいかない、と考えた……
違う。
違う。当時使える最善の概念を使うのではない。
あなたを裁くのは「自然」であり、「自然」は最も正しい理由でさえ受け入れない。基準を満たさなければ、失敗する。それほど単純だ。手持ちのもので間に合わせなければならない理由について、どんな巧妙な論証も存在しない。「自然」はその論証に耳を傾けず、急ぐことに優れた正当化がどれほど多くあっても、許してくれないからだ。
ドナルド・ラムズフェルドが、必要な軍ではなく、手元にある軍で戦争へ行ったとき、何が起きたかは誰もが知っている。
エリエザー1997には、何もないところから正しいモデルを呼び出せなかったかもしれない。（もっとも、彼が本当に試みていたら、何が起きたか誰に分かるだろう……。）そして、厳密さが突然どこからともなく現れるまで、考えることを完全にやめるのも賢明ではなかっただろう。
だが、精密さがないまま、「最善の推測」へ全体重をかけることも、エリエザー1997にとって正しくなかった。より良い答えを探し、現在の曖昧な手がかりに満足せず、そこへ全体重をかけることを拒みながら、自分の暫定的な思考過程で曖昧な概念を使うことはできる。暫定的な理解に基づいて、超知能を構築してはならない。いや、たとえ自分が持つ「最善の」曖昧な理解でもだ。それが私の過ちだった――「最善の推測」と言えば、何かが許されると考えた。そこには、私が満たせなかった基準があるだけだった。
もちろんエリエザー1997は、非常に多くの命と、さらにナノ兵器の時代へ超知能の時代より先に到達すれば、地球に由来する知的生命の存続そのものが懸かっている中、知能爆発への道で速度を落としたくなかった――
「自然」は、そのような正しい理由を気にかけない。成功に必要な、天文学的に高い基準があるだけだ。それに達するか、失敗するか。それだけである。
黙示録は、あなたに公正である必要はない。
黙示録は、あなたがすでに差し出したものと引き換えに、成功の機会を与える必要はない。
黙示録の難しさは、あなたの技能へ合わせられていない。
黙示録の代価は、あなたの資源へ合わせられていない。
黙示録が不当なものを要求し、
あなたが少しまけるよう交渉しようとしても、
（誰もが、ときには妥協しなければならないから）
黙示録は、値を戻すため交渉しようとはしない。
そして、ああ、そうだ。事態はさらに悪くなる。
純粋な論理から「べき」を導出することは絶対にできない、「べき」命題はほかの「べき」命題からしか導出できないからだ、という明白な議論を、エリエザー1997はどう扱ったか？
なるほど、とエリエザー1997は観察した。この問題は、原因は別の原因からしか生じない、または実在するものは別の実在するものからしか生じない、ゆえに何も存在しないと証明できる、という議論と同じ構造を持つ。
したがって、と彼は言った。「難問」は三つある。クオリアは計算可能な過程から生じえないと分かる、意識経験の難問。何らかの存在が、見かけ上の無から、どう現れるのかと問う、存在の難問。そして「べき」へ到達するという、道徳の難問である。
こうした問題は、おそらくつながっている。たとえば快楽のクオリアは、内在的に望ましいものの最有力候補の一つである。ゆえに意識の難問を解きほぐさずに、道徳の難問を理解することはできないかもしれない。こうした問題が人間には難しすぎることは明白だ――そうでなければ、哲学が発明されてから過去2500年のあいだに、誰かが解決したはずである。
複雑な解を持つはずはない――そのためには単純すぎる。問題は、人間の概念空間の外にあるに違いない。意識はどんな計算可能な過程からも生じえないと分かるため、新しい物理学――脳が使っているが、理解できない物理学――が関係するはずだ。これが、この問題を解くため超知能が必要な理由である。おそらく量子力学と関係し、一般相対性理論から取り出した、小さな閉じた時間的曲線を少々含むのかもしれない。時間パラドックスには、意識が要求するように見えるものと同じ、何らかの還元不能性があるかもしれない……
等々、うんざりするほど。私のOvercoming Bias投稿が描く弧の中に、自分へ書けたならと願う手紙を、感じ始めるかもしれない。
ここから、私は次の教訓を学ぶ。混乱を操作することはできない。理解の穴を回避する巧妙な計画を立てることはできない。根本的に混乱しているものについて「最善の推測」を行い、ほかの混乱したものへ関連づけることさえできない。まあ、行うことはできるが、混乱が解消するまで正しくはならない。混乱は現実ではなく、心の中に存在する。それを拾い上げ、動かせる何かのように扱おうとすれば、意図しない喜劇しか生まれない。
同じように、モデルの隙間は問題にならないという巧妙な理由を考え出すことはできない。謎の周囲に境界線を引き、「神秘的なもの」を本当に理解せず使える、整然とした取っ手をつけることはできない――生命には意味がない可能性を、期待効用の式から相殺しようとした、私の試みのように。隙間を拾い上げて操作することはできない。
地図の空白が地雷を隠していれば、知らないことの言い訳がどれほど優れていても、その場所へ全体重をかければ致命的になる。どんなブラックボックスにも罠が入りうる。ブラックボックスを開き、中を見る以外に知る方法はない。手持ちの最善の理解で先へ急がなければならない、何らかの正しい正当化を考え出しても――罠は作動する。
規則を知って初めて、
なぜ学ぶ必要があったか理解する。
さもなければ何が起きたか、
知ることが、どれほど必要だったかを。
無知の代価を予言できるのは、知識だけである。古代の錬金術師には、鉛を金へ変えるのが難しい正確な理由を知る、論理的な方法がなかった。だから自らを毒し、死んだ。「自然」は気にかけない。
だが、理解の夜明けが私に訪れ始めた時は、やがて来た。
Edward Elmer Smith, Second Stage Lensmen (Old Earth Books, 1998). ↩︎