❦
前回までのエリエザー1997は、どんな超知能も自動的に「正しい」ことをするはずであり、それどころか、私たちよりも正しさをよく理解するはずだと信じていた――もっとも、道徳の究極的な本質について自分は理解していない、と彼は謙虚にも認めていた。いや正確には、いくらか議論を重ねた末、エリエザー1997は、生命には意味があるという信念を私たちはいつでも条件にできる、だから超知能が何か特定のことをせずにはいられないと感じない場合は考慮から外れる、とする手の込んだ議論を作り上げ、それを得意げに「形式的」だと称していた。（欠陥は、「普遍的に人を動かす議論」と「正しいこと」を、検討も正当化もせず同一視していた点にある。）
ここまでの若きエリエザーは、「未熟な理由からたどり着いた信念を、巧みに擁護できるせいで愚かになっている賢い人々」の仲間入りへと順調に進んでいる。「合理性」へのあれほどの献身もこの過ちから彼を救えなかったのだから、合理的であろうと努めることなど無意味だ、と結論したくなるかもしれない。
だが、自分で穴を掘る人は多くても、そこから這い上がることに成功する人ばかりではない。
そして私はここから教訓を得る。すべての始まりは――
――ほんの小さな、小さな疑問だった。一つの不協和音。ぽつんと浮かんだ、たった一つの小さな考え……。
物語の始まりにあたり、時を三年進めてエリエザー2000へ移ろう。彼はほとんどの点で1997年の自分とよく似ている。正しいことが何か一つでも存在するなら、超知能を構築することこそ正しい、と証明できたと彼は今のところ考えている。そこから、知能爆発をめぐって地球の民族や個人のあいだに正当化可能な利害対立は存在しない、という帰結が導かれる。
これはエリエザー2000にとって重要な結論だ。知能爆発をめぐって争うなど、彼には耐えがたいほど愚かに思えるからである。（言い争う野蛮な部族同士の戦いに神が介入する、という発想をちょうど反転させたようなものだ。）エリエザー2000の自己像は、「まあ、こちら側が先に着いたのだから、ほかの誰かに取られる前にバナナを奪おう」と肩をすくめることを許さない――そもそも彼自身、そんなことを望んですらいない。考えるだけでも辛すぎる発想なのだ。
ところがそのとき、こんな考えが彼の頭に浮かぶ。
たとえ生命に意味がなくても、AIに、自分たちを殺さないといった特定のことをしてほしい人がいるのではないか？
その直後に浮かんだのは、彼の前提からすれば当然の考えだった。
生命に意味がない場合、何をするのも「正しい」わけではない。したがって、その場合に人々の選好を尊重することが特に正しいわけでもない。
これは分かりきった逃げ道だ。だが問題は、エリエザー2000が自分を悪党だとは思っていないことにある。「今日はどの弾丸をかわそうか」などと言って回る人間ではない。自分は探究の筋道を粘り強くたどる、忠実な合理主義者だと思っている。のちに振り返れば、どういうわけか自分の心がたどらずに済ませてしまった探究が山ほど見つかるのだが、それは彼の現在の自己像ではない。
だからエリエザー2000は、目の前の分かりやすい逃げ道にただ飛びつきはしない。考え続ける。
だが、生命に意味がない場合にも自分たちには選好がある、と人々が信じるなら、彼らには私の知能爆発計画に異議を唱え、生命に意味がない場合にも自分たちの願いを尊重する計画を選ぶ動機がある。そうなると知能爆発をめぐる現在の利害対立が生まれ、生命に意味がある本筋の場合に、正しいことの実行を妨げてしまう。
さて、エリエザー2000がこの問題を窓から放り捨てるために使えた言い訳は、いくらでもある。よく分かる。友好的AI（Friendly AI）を退ける言い訳を、私はたくさん聞いてきたからだ。「問題が難しすぎて解けない」というのは、真の人工知能を作れるほど自分は賢いが、友好的AIのような本当に難しい問題を解けるほどには賢くない、と考えるAGI志望者からよく聞く。あるいは「人類が自滅する前にAIを作らなければならないという途方もない緊急性を考えれば、この可能性を心配するのは資源の使い方としてまずい――手元にあるもので進むしかない」とも言われる。そう口にするのは、要するにこの問題に関心がない人々だ。
だがエリエザー2000は完璧主義者である。もちろん彼自身は完璧ではないし、精密さという徳を今の私ほど重視してはいない。それでも彼は間違いなく完璧主義者だ。超知能は何が正しいかを私たちよりよく知る、というエリエザー2000のメタ倫理は、それまで正義と道徳のあらゆる問題を隙間なく包み込んでいるように見えていた。
新たな反論は、その隙間のない包みに小さな穴を開けるように思える。ならば塞ぐ価値がある。完璧なものを手にしているのに、たった一つの小さな可能性のせいで傷物になるのを本当に許すだろうか？
だからエリエザー2000は、この問題を捨てたいと思いさえしない。問題を修復し、完璧さを取り戻したい。そのために時間を使うことを、どう正当化すればよいのか？ こんなふうに考えることでだ。
ブライアン・アトキンスはどうだろう？［ブライアン・アトキンスはMachine Intelligence Research Institute（当時の名称はSingularity Institute）の設立資金を出した人物である。］たとえ生命に意味がなくても、彼はおそらく死にたくないはずだ。今まさにMIRIに資金を出してくれている。私たちの協力関係を倫理的に汚したくはない。
エリエザー2000のこの感覚は、うまく言葉にできない――英語にも、私の知るほかのどの文化にも、それを簡潔に表す言い方がない。旧約聖書の「子山羊をその母の乳で煮てはならない」という一節が近いかもしれない。利他的に助けてくれた人に、助けたことを後悔させてはならない。あなたが相手に負うのは忠誠というよりも、あなたを助けることで、相手が自分のしていると思っていることを実際にしている、という状態を保証することだ。
とはいえ、私が話さなければブライアン・アトキンスにどうして分かるというのか？ エリエザー2000はこの考えを、同じ状況で悪党なら当然考えることとして引用符に入れる形でしか考えない。そしてエリエザー2000には、それに対する定番の反論も用意されている。不誠実への誘惑を防ぐ護符であり、単に個人的な徳を個人的に愛するからではなく、期待効用の観点から正直さを正当化する議論だ。
人間は完璧に人を欺けるわけではない。きっと発覚する。それに、シンギュラリティまでの今後三十年ほどのあいだに、本物の嘘発見器が発明されたらどうする？ 私は嘘発見器の検査を通過できないだろう。
エリエザー2000は、いついかなるときでも、自分の考えを恥じることなく全世界へ放送できるよう備えておくべきだ、という規則に従って生きている。そうでなければ、明らかに道を踏み外している。考えるべきでないことを考えているか、恥じるべきでないことを恥じているかのどちらかだ。
（今の私は、これほど極端な見方を支持してはいない。主な理由は楽しさの理論にある。少なくとも私の近い将来への視野が届くかぎりでは、知的生命体同士の社会的競争が続く余地を認めている。今では、人間が自己を持つのも構わないのかもしれないと認めている。ジョン・マッカーシーの言葉を借りれば、「誰もがいつでも他者のために生きるなら、人生はアリが互いの後を追って輪になって進む行列のようになる」からだ。自己を持つなら、秘密を持ってもよいだろうし、陰謀すらあってよいかもしれない。それでも私は今も、専門上の話題であるなら、同じく嘘発見器にかかる意思のある相手なら誰に対しても、将来の嘘発見器の検査を通過できるという原則に従おうとしている。楽しさの理論には、世界規模の壊滅的リスクを管理するための常識的な例外が必要だ。）
正直であることを当然の前提としても、エリエザー2000がこの疑問を便所に流すために使える言い訳はほかにもある。「世界にそんな時間はない」や「解決不可能だ」でも通るだろう。だがエリエザー2000は、この問題、すなわち「予備」の道徳の問題が、格別に難しいとも時間がかかるとも知らない。たった今、この問題全体を思いついたばかりなのだ。
こうしてエリエザー2000は、その疑問を本気で考え始める。「生命に意味がない」と仮定する（超知能が純粋な論理から自らの動機を生み出さないと仮定する）なら、代替となる道徳をどのように指定すればよいのか？ どう合成し、AIに書き込めばよいのか？
この時点でエリエザー2000が知らないことは多い。それでも自己改善するAIについては三年間考え続けてきたし、伝統的合理主義者としての経験はさらに長い。彼がすでに実践してきた合理性の技法もあれば、自ら考案した方法論上の安全策もある。AIに必要なのが唯一の偉大な道徳原理だけだ、と考えるほど未熟ではない。エリエザー2000はすでに、政治的に考えるより技術的に考えるほうが賢明だと知っている。AIプログラマーはコードで考え、コンピュータに書き込める概念を使うべきだ、という格言も知っている。エリエザー2000は、まだそれをベイズ的な見方として定式化してはいないものの、「技術的思考」と呼ばれる何かが存在し、それは良いものだという概念をすでに持っている。そして、もっともらしい名前を付けたLISPのトークンには実際には何の意味もない、といったことにもとうに気づいている。これらの戒めのおかげで、友好的AI問題へ自力で第一歩を踏み出したほかの初心者たちを呑み込むのを私が見てきた、いくつかの初歩的な罠には落ちずに済んだ……もっとも厳密には、これは私の二歩目だった。最初の一歩では、私は完全かつ徹底的に失敗していた。
だが結局のところ、要点はこうだ。エリエザー2000は初めて、正しさという謎めいた本質を逃げ道にせず、道徳をAIへ書き込むことを技術的に考えようとしている。
結局、それだけが重要だった。それまでの彼の哲学的思索では、細部に向き合うよう脳に強いるには足りなかった。この新しい基準は、実際の作業を要求するほど厳格だ。道徳は少しずつ彼にとって謎ではなくなり始める――エリエザー2000はブラックボックスの中を考え始めている。
彼がこの道を進む理由――そんなものは、まったく重要ではない。
もちろん、彼が完璧主義者だったことには教訓がある。エリエザー2000が当初、これは小さな欠陥にすぎないと思っていたこと、そして、そうしたいという衝動があれば意識の外へ追いやれたことにも、教訓はある。
だが結局、因果の鎖はこうつながっている。エリエザー2000はより詳しく調べた。ゆえに練習によって上達した。行為は正当化の理由を遮断する。エリエザー1996のように、議論がたまたま細部を詰めないことを正当化するなら、その問題について考えるのは上手くならない。議論が細部を詰めるよう求めるなら、専門性を蓄え始める機会が得られる。
結局のところ、重要だった選択はそれだけだ――何かをする理由ではない。
お察しのとおり、私がこうした話をするのは、友好的AI問題を考えないことについて独自の巧妙な理由を持つAGI志望者に、ときどき出会うからだ。私たちが自分の行動についてこしらえる巧妙な理由は、私たち自身や友人にとってほどには、自然にとって重要でないことが多い。あらゆる正当化を剥ぎ取り、むき出しの事実として提示したとき、自分の行動がよく見えないのなら……見直したほうがよいのかもしれない。
熱心に努力すれば必ず人が救われるわけではない。能力不足というものは確かにある。それでも、挑戦しない、あるいは十分懸命に挑戦しないなら、大勝負の卓に着く機会すら得られない――参加料となる能力の話以前の問題だ。それが因果というものだ。
そして、完璧主義は本当に重要だ。世界の終わりが、いつもラッパと雷鳴を伴い、受信箱の最優先事項としてやって来るとは限らない。打ち砕くような真実が、最初はほんの小さな、小さな疑問として現れることもある。一つの不協和音。たった一つの小さな孤独な考え。少し触れるだけで、何の苦もなく退けられてしまう考えとして……。
……こうしてその後の年月をかけて、過去のエリエザーに理解の夜明けがゆっくり訪れ始める。その太陽は、昇り得た速さよりも遅く昇った。