どんなことでも正しくなりうるのか？

❦

何年も前、エリエゼル₁₉₉₉は、自分は道徳について何も知らないと確信していた。彼の知るかぎりでは、道徳は人類の絶滅を求めるかもしれなかった。そして、そうであるなら、道徳に逆らって立ち上がることに徳はないと考えた。その道徳的事実を仮定するなら、人類絶滅こそ、定義によって、なされる「べき」ことだと思ったからだ。

十分に推論する時間と事実があれば、何が正しいかを突き止められるかもしれないが、今は何の情報もないと思っていた。自分を作った進化は信用できなかった。それでは、足場とするどんな基盤が残るのだろう。

確かに、エリエゼル₁₉₉₉は、明示的に表していた哲学に関するかぎり、道徳の本性について大きく間違っていた。

だが、デイヴィドソンが述べたように、「ビーバー」は砂漠にすみ、全身が白く、成体の体重は300ポンドだと信じているなら、真であれ偽であれ、ビーバーについての信念は何ももっていない。信念の少なくとも一部が正しくなければ、残りも何かについて間違っていることはできない。

道徳について自分には情報が何もないという信念は、内部的に整合していなかった。

何も知らないと言うのは、徳のあることに感じられた。以前、無知を認めるのは徳だと教わったからだ。「私が知っているのは、何も知らないということだけだ」といった話である。だがこの場合には、誇張ではあるが、「最大の愚か者とは、自分が賢いことに気づいていない者だ」という言葉を考えたほうがよかった。（これは最大の愚かさからはほど遠いが、愚かさの一種ではある。）

人を殺すのは間違っているのか。そう思ってはいたが、確かではなかった。人を殺すのが正しいのかもしれない。もっとも、その可能性は低そうに思えた。

人を殺すのが正しいかどうかは、どんな手続きなら答えられるのか。それも知らなかった。だが、汎用的な超知能——後に私が「完全な空白の幽霊」と呼ぶもの——を作れば、何が正しく何が間違っていそうかを推論でき、超知能なのだから、必ず正しい答えに到達するはずだと考えた。

私がどうにか深く考えずに済ませていた問題は、その超知能が、道徳を発見する手続きを発見する手続きを発見する手続きを、どこから得るかということだった。後継AIを書き、そのAIが後継AIを書く、最初の状態に、私自身がそれを書き込めないのなら。

マルチェロ・ヘレスホフが後に言ったように、「出力を知らず、しかも出力について重要な事実を知っているのでなければ、わざわざコンピュータープログラムを実行することはない」。道徳について何も知らず、その本性すら知っていると主張しないのなら、たとえ「超知能的」でも「自己改善的」でも、どうやって何らかのプログラムを作り、それが「道徳」と呼ぶものを出力すると主張できるだろう。

計算機科学には、ノーフリーランチ定理がある。最大エントロピーの宇宙では、どの計画も平均すればほかより優れていない。「道徳」についての知識がまったくないなら、ほかより「道徳」を計算しそうな計算手続きもなければ、「道徳」を計算する手続きをほかより生み出しそうなメタ手続きもない。

完全な空白の幽霊でも、道徳について何も知らないとわかれば、きっと道徳について考える道徳的義務を見いだすはずだ、と私は思った。

だが、難しいのは考えるという語だ。考えることは、完全な空白の幽霊が自動的にできる活動ではない。思考である特定の計算を実行する必要がある。内省するAIが考えようと決めるには、ウィジャ盤に頼るより、知りたいことを教えてくれる可能性の高い計算を、何か知っていなければならない。そして、その出力をどう解釈するかという考えも必要だ。

道徳について何も知らないなら、「べき」という語は、そもそも何を意味するのか。死が正しいか間違っているかを知らず、それをどう発見できるかも知らず、何らかの手続きが、死が正しいかどうかを判定する手続きを出力するかどうかも知らないなら、「正しい」「間違っている」という言葉はいったい何を意味するのだろう。

「正しい」「間違っている」という語に何も組み込まれておらず、出発点もなく、道徳の内容だけでなく構造も出発点も判定手続きも、何もかも未定なら、その意味は何なのか。「何が正しいか知らない」と「何がワカリクセスか知らない」は、どう違うのか。

科学者は、どんな理論も反証されうるから、科学では何もかも変更の余地があると言うかもしれない。だが、その科学者には、何が理論を反証しうる証拠なのかについて、考えがある。では、科学者が証拠と考えるものを変える何かは、ありうるだろうか。

実際、ありうる。カール・ポパーを少し読み、「証拠」の意味を知ったと思った科学者が、ベイズ確率の根底にある整合性と一意性の証明を示されれば、証拠の定義を変えるかもしれない。そのような証明がありうると、あらかじめ明示的に考えていたとは限らない。だが、暗黙の考えはあったはずだ。明示的に表されていなくても、こういう議論なら、これまで使っていた定義よりベイズ確率のほうが「証拠」をよく定義していると納得する、ということが、脳に組み込まれていたはずなのだ。

同じように、「道徳が何かは知らないが、見ればわかる」と言うことには、意味がある。

だがその場合、あなたは、進化によってできた自分の本性に全面的に反逆しているわけではない。「道徳」を認識するために自分に組み込まれたものが何であれ、それは絶対に信頼できるのでないとしても、少なくとも議論を始めるための初期条件なのだと想定している。道徳的直感がただの進化の産物であるのに、道徳についての情報を何か一つでも与えるものとして、信用できるだろうか。

だが、進化が与えたすべての手続きと、その産物をすべて捨てれば、自分の脳をまるごと捨てることになる。道徳を見て認識しうるものを、すべて捨てる。道徳的な議論に応じて自分の道徳を更新しうるものを、すべて捨てる。ほどく道具そのものまで、さかのぼってほどいてしまう。進化が道徳的であるとは信用できないという結論の根底にある直感さえ捨てるのだ。進化は道徳の源としてあまりよくなさそうだ、と教えるのは、あなたの既存の道徳的直感なのである。それでは、「正しい」「べき」「よりよい」という語はいったい何を意味するのか。

人間は真理を見れば完璧に認識できるわけではなく、狩猟採集民には、証拠のベイズ的基準の明示的な概念もない。だが、科学も確率論もすべて、私たちの本能的な「真理」の感覚へ訴えかける連鎖の上に築かれた。この核心に欠陥があったなら、今の科学の概念へ到達するためにできることは、原理的に何もなかっただろう。科学という考えは、まったく魅力も意味もないものにしか聞こえなかったはずだ。

もし時間をさかのぼって10代の自分と議論できたら、彼を間違いから揺り起こせたかもしれない議論の一つは、次の問いだ。

人間が気づかず、気づきたいとも思わず、それを採用する魅力的な道徳的議論も、それを採用する手続きを採用する道徳的議論も、等々、何も見いださないような、何らかの道徳、正しさや間違いはありうるだろうか。道徳があり、私たちはその参照枠から完全に外れている、ということはあるのか。だが、それなら、何がそれを道徳にするのか。何の正当化もなく、どこかの石板に「汝、殺すべし」と書いてあることと、どう違うのか。

だから、こうしたことはすべて、自分は道徳について少しは知っているかもしれないと、受け入れるべきだと示唆する。疑問を差し挟めないものはないかもしれないが、自分を問い直し始める初期状態はある。脳に組み込まれていても、自分には明示的にわかっていないかもしれない。それでも、脳が正しいと認識するであろうものこそ、あなたが話している対象だ。「道徳」を考えるべき何かとして特定するには、少なくともそれができるだけは、自分が道徳的な議論に反応する仕方を出発点として受け入れることになる。

だが、それはかなり大きな一歩だ。

それは、すべての道徳が彼方から輝く大きな光であり、原理的にはまったく知覚できないかもしれないと考えるのでなく、自分の心が、道徳の参照枠を特定していると認めることだ。仮に光があり、脳がそれを「道徳」と認識することを選んだとしても、認識したのはやはり自分の脳であり、因果的な責任を免れたわけではないと認めることだ。私の考えでは、道徳的責任も免れない。

それは、完全な空白の幽霊が必ず自分に同意するという考えを捨てることでもある。その幽霊は、違う道徳の参照枠に立ち、違う議論に反応し、次に何をするか計算するとき、違う問いを問うているかもしれないからだ。

そして、「道徳」という話題、「正しさ」を語るときに話題にしている正しさという性質、その意味そのものに、少なくともいくつかのものを組み込むことを認めるなら——「道徳」について議論するとき、議論しているものこそ道徳だ、と認めるだけでも——ほかの直感、自分自身のほかの部分も、出発点に受け入れてはどうだろう。

ほかの条件が同じなら、悲しみより喜びのほうが望ましい、と受け入れてはどうか。

後で、自分の内部や自分を土台にして作ったものの中に、それを批判する根拠を見つけるかもしれない。だが、今は受け入れてはどうだろう。単なる個人的な好みとしてではない。「何が本当に正しいのか」と問うとき、その問いに組み込まれている何かとして。

すると、自分は道徳についてずいぶん多く知っていると気づくかもしれない！　確実なものも、疑えないものも、議論できないものもない。それでも、かなりの情報がある。ソクラテス的な無知を手放す用意はあるだろうか。

もちろん、私は定義によって論じているのではない。だが、道徳についてまったく何も知らないと主張するなら、言葉のもっともらしさだけでなく、その意味に問題を抱えることになる。