❦
前回エリエザー1997と別れたとき、彼は、どんな超知能も自動的に「正しい」ことを行い、しかも何が正しいかを私たちよりよく理解するはずだと信じていた。自分には道徳の究極の本性はわからないと、謙虚に認めてはいたものの。正確には、いくらか議論を重ねた後、エリエザー1997は精緻な議論を作り上げ、それを得意げに「形式的」と呼んでいた。人生には意味があるという信念を、いつも条件として置ける。だから、超知能が何か特定のことをする必然性を感じない場合は、考慮から外れる、という議論だ。（欠陥は、「普遍的に従わせる議論」と「正しい」を、検討も正当化もせず同一視したことにある。）
ここまでの若いエリエザーは、「拙い理由から得た信念を擁護する技には長けているために、愚かになっている賢い人々」の仲間入りへ、着々と進んでいる。「合理性」への彼の献身は、この誤りから彼を救わなかった。それなら、合理性を目指して努力しても無駄だ、と結論したくなるかもしれない。
だが、自分で穴を掘る人は多くても、そこから這い出すことに成功する人ばかりではない。
ここから私は、教訓を学ぶ。すべての始まりは――。
――小さな、小さな問いだった。一つの不協和音。小さな、ぽつんと浮かんだ考えだった……。
ここで話を3年進め、エリエザー2000から始めよう。彼は、ほとんどの点で1997年の自分と似ている。今の彼は、そもそも何か正しいことがあるのなら、超知能を作るのが正しいことだと証明したつもりでいる。そこから、知能爆発をめぐり、地球の諸民族や個人の間に正当化できる利害対立はない、と結論される。
これはエリエザー2000にとって重要な結論だ。知能爆発をめぐって争うという考えが、耐えがたいほど愚かに思えるからだ。（いがみ合う蛮族同士の争いに神が介入するという話を、逆にしたようなものだ。）エリエザー2000の自己像は、肩をすくめて「まあ、こちら側が先に来たんだから、ほかの誰かに取られる前にバナナを奪い取ろう」と言うことを許さない。そもそもそう言いたくもない。苦痛が大きすぎて考えられないのだ。
それでも、ある考えが浮かぶ。
人生に意味がなくても、自分を殺さないことなど、AIに特定のことをしてほしいと望む人はいるのではないか？
すぐに続く考えは、彼の前提からすれば当然のものだ。
人生に意味がない場合には、「正しい」行為は何もない。したがって、その場合に人々の選好を尊重することが、とりわけ正しいわけではない。
これは明らかな逃げ口上だ。だが、エリエザー2000は、自分を悪党だとは思っていない。「今日はどの弾丸をかわそうか？」などと言って回っているのではない。粘り強く問いを追う、勤勉な合理主義者だと考えている。後になって振り返れば、どういうわけか追わずに済ませた問いが山ほど見つかることになる。だが、それは今の自己像ではない。
だからエリエザー2000は、明らかな逃げ道に安易に飛びついたりはしない。考え続ける。
だが、人生に意味がない場合にも自分には選好があると人々が信じるなら、彼らには、私の知能爆発計画に異を唱え、人生に意味がない場合の希望も尊重する計画を選ぶ動機がある。そうすると、知能爆発をめぐる現在の利害対立が生じ、人生に意味があるという本筋の場合にも、正しいことが行われなくなる。
さて、エリエザー2000がこの問題を窓の外へ投げ捨てるために使えた言い訳は、たくさんある。私にはわかる。友好的AIを退ける言い訳なら、いくらでも聞いてきたからだ。「問題が難しすぎて解けない」というものがある。本物の人工知能を作るほど賢いと思っているのに、友好的AIのような本当に難しい問題を解くほどには賢くないと思う、AGI志望者から聞く言葉だ。あるいは「人類が自滅する前にAIを作るのは途方もなく急を要するのだから、その可能性を心配するのは資源の使い方としてまずい。今あるもので進むしかない」。これを言う人々は、基本的にその問題に興味がないだけだ。
だが、エリエザー2000は完璧主義者だ。もちろん完璧ではないし、精密さという徳を、今の私ほど重要視してもいない。だが、間違いなく完璧主義者だ。超知能は私たちより何が正しいかをよく知っている、というエリエザー2000のメタ倫理学は、それまで、正義と道徳のすべての問題を、隙間なく包んでくれるように見えていた。
新しい反論は、その密閉した包みに小さな穴を開けるように見える。それなら塞ぐ価値がある。完璧なものを持っているのに、小さな可能性一つで損なわれるままにして、本当によいのか？
だからエリエザー2000は、この問題を放り出したくもない。穴を塞ぎ、完璧さを取り戻したいのだ。時間をかけることはどう正当化できるか？ こんな考えによってだ。
ブライアン・アトキンスはどうだろう？［機械知能研究所MIRI、当時はシンギュラリティ研究所と呼ばれていた組織に、設立資金を出した人物だ。］人生に意味がなくても、彼はおそらく死にたくないはずだ。今、彼はMIRIに金を出してくれている。私たちの協力関係の倫理を、汚したくはない。
エリエザー2000のこの感情は、うまく言い表せない。英語には簡単な説明がなく、私の知るほかの文化にもない。強いて挙げるなら、旧約聖書の「子やぎを、その母の乳で煮てはならない」という一節だろうか。利他心から助けてくれる人が、助けたことを後悔するようであってはならない。その人に負っているのは、忠誠というより、自分を助けることでその人が果たしているつもりのことを、実際にも果たせるようにすることだ。
だが、私が言わなければ、ブライアン・アトキンスにどうしてわかるのか？ エリエザー2000は、同じ状況なら悪党が当然考えることとして、引用符に入れた形でしか、こんなことを考えさえしない。エリエザー2000には、対抗するお決まりの考えも用意してある。不正直への誘惑を退けるお守りであり、個人的な徳への愛情だけでなく、期待効用によって正直さを正当化する議論だ。
人間は完璧に欺けるわけではない。ばれる可能性は高い。あるいは、今後30年のうち、シンギュラリティの前に本物の嘘発見器が発明されたら？ 私はその検査に通らないだろう。
エリエザー2000は、いつでも自分の考えが世界中に放送されても恥ずかしくないようにしておくべきだ、という規則に従って生きている。そうでなければ、明らかに正しい道から落ちている。考えるべきでないことを考えているか、恥じる必要のないことを恥じているかの、どちらかだ。
（今の私は、主に楽しさの理論に関わる理由から、そこまで極端な立場は取っていない。少なくとも私の近未来の見通しの範囲では、知的生命同士が社会的な競争を続けることにも役割があると思う。今では、人間に自分自身というものがあってもよいのかもしれないと認めている。ジョン・マッカーシーが言ったように、「誰もがいつも他人のために生きたなら、人生は、アリが互いの後をついて円を描いて歩く行列のようになるだろう」。自分自身があるのなら、秘密があってもよいし、陰謀さえあってもよいかもしれない。だが、仕事上の話題なら、相手も嘘発見器にかかる気があるかぎり、将来の検査を通れるようであるべきだという原則には、今も従おうとしている。楽しさの理論にも、地球規模の壊滅的リスクの管理については、常識的な例外が要る。）
正直であることを当然としても、エリエザー2000がこの問いをトイレに流すために使える言い訳は、ほかにもある。「世界には時間がない」「解決不能だ」は、まだ使える。しかしエリエザー2000は、この「予備の」道徳の問題が、とりわけ難しかったり時間のかかったりするものになるとは、知らない。問題自体を、たった今思いついたところなのだ。
こうしてエリエザー2000は、本当にこの問いを考え始める。「人生に意味がない」、つまり超知能は純粋な論理から自らの動機を生み出さないとしたら、予備の道徳をどう指定するのか？ どう作り上げ、AIに書き込むのか？
この時点で、エリエザー2000の知らないことは多い。だが、自己改良するAIについては3年間考えてきたし、伝統的な合理主義者でいた期間はそれより長い。実践してきた合理性の技法もあり、すでに工夫した方法上の安全策もある。AIに必要なのは唯一の偉大な道徳原則だけだ、などと考えるほど愚かではない。エリエザー2000は、政治的に考えるより技術的に考えるほうが賢明だと、すでに知っている。AIプログラマーはコードで考え、コンピューターに書き込める概念を使うべきだ、という言葉も知っている。エリエザー2000には、「技術的思考」というよいものがあるという概念はすでにある。まだベイズ的な見方では定式化していないが。そしてそれらしい名前をつけたLISPのトークンは、実際には何の意味も持たないことなどにも、とっくに気づいている。こうした心得のおかげで、友好的AIの問題に初めて踏み込むほかの初心者たちが捕まってきた、初歩的な罠の一部には陥らずに済む。もっとも、厳密には、これは私の二歩目だった。一歩目では、見事に失敗したのだ。
だが、結局のところ、こういうことだ。エリエザー2000は初めて、「正しさ」の謎めいた本質という逃げ口を使わず、AIに道徳を書き込むことを技術的に考えようとしている。
最後に重要なのは、それだけだ。以前の哲学的思索では、脳を細部に向き合わせるには足りなかった。この新しい基準は、実際の仕事を要求するほど厳しい。道徳は、ゆっくりと謎めいたものではなくなり始める。エリエザー2000は、ブラックボックスの中で考え始めている。
彼がこの道を進む理由は、まったく重要ではない。
もちろん、完璧主義者だったことには教訓がある。エリエザー2000が当初これを小さな欠陥だと思い、そうしたい気分なら頭から追い出してしまえたことにも、教訓はある。
だが結局、因果の鎖はこうつながる。エリエザー2000は詳しく調べた。だから、練習によって上達した。行動は正当化を遮断する。エリエザー1996,のように、細部まで考え抜かないことをたまたま自分の議論が正当化するなら、その問題を考えるのはうまくならない。細部まで考え抜けと議論が要求するなら、専門知識を積み重ね始める機会が得られる。
結局、重要だった選択はそれだけだった。何かをする理由ではない。
ここまで述べたのは、お察しのとおり、ときどき出会うAI志望者たちが、友好的AIの問題を考えないための、独自の巧妙な理由を持っているからだ。自分たちや友人にとって大切な、行動をする賢しらな理由も、自然にとっての重要さはたいてい、それよりずっと小さい。正当化をすべてはぎ取り、ただの事実として示したとき、自分の行動がよいものに見えないなら……見直したほうがよいかもしれない。
勤勉な努力が、いつも人を救うわけではない。能力不足というものはある。それでも、努力しなければ、あるいは十分に努力しなければ、能力という参加費以前に、大きなものを賭ける卓に座る機会さえない。因果関係とは、そういうものだ。
そして、完璧主義は本当に重要だ。世界の終わりが、いつもラッパと雷鳴と、受信箱の最優先マークを伴って来るとは限らない。ときには、すべてを打ち砕く真実が、初めは小さな、小さな問い、一つの不協和音、小さな、ぽつんと浮かんだ考えとして現れる。簡単に、何の努力もなく、指先一つで払いのけられるようなものとして……。
……こうして、その後の数年をかけ、過去のエリエザーにも、ゆっくりと理解の光が差し始める。その太陽は、もっと速く昇れたはずなのに、ゆっくり昇ったのだ。