❦
前回までのエリエザー2000は、道徳をAIへ書き込む方法を調べ始めたばかりだった。彼がそうした理由はまったく重要ではない。ただし、その経緯が完璧主義の重要性をたまたま歴史的に実証しているという点だけは別だ。何かを練習すれば上達するかもしれないし、何かを調べれば、それについて知ることができるかもしれない。唯一重要なのは、以前のように、このことへ時間を使わずに済む正当化を探すのではなく、エリエザー2000が実際に、AIの道徳を技術的に考えることへ全力を注いでいるという点だ。結局、重要だと判明するのはそれだけである。
だが物語が始まるとき――空が灰色に明るみ、太陽の先端が地平線から顔をのぞかせるとき――エリエザー2001はまだ、エリエザー1997が何か重要な意味で間違っていたとは認めていない。「万が一、生命には意味がないと判明した場合」に備える緊急対応計画を盛り込むことで、エリエザー1997の戦略をさらに良くしているだけなのだ……。
……つまり今やエリエザー2001には、自分の過ちから離れるための退路ができた。
単にエリエザー2001が、絶叫して「しまった！」と認める代わりに、「友好的AI（Friendly AI）は緊急対応計画だ」と言えるようになった、というだけではない。
今やエリエザー2001は、実際に緊急対応計画を持っている、という意味だ。エリエザー2001が1997年のメタ倫理を疑い始めても、知能爆発には友好的AIという代替戦略がある。エリエザー2001は、それが世界の終わりを意味することなく、自分のメタ倫理を疑える。
そして勾配は滑らかになった。以前の自分が間違っていた可能性をまず10％、次に20％と認められる。一つの巨大な塊として過ちのすべてを吐き出す必要はない。
これではエリエザー2001は遅すぎるように聞こえる、とあなたが思うなら、まったく同感だ。
エリエザー1996–2000の戦略は、「友好的AI」という考慮事項がまったく存在しないところで形作られていた。発想の全体は、どんな超知能でもよいから、できるかぎり早く手に入れることだった――コードレットのスープ、場当たり的ヒューリスティクス、進化的プログラミング、オープンソース、うまくいきそうに見えるものなら何でも――できればマンハッタン計画ですべての手法を同時に進める。（「親はみな、子どもにするなと言うことを自分ではしてきた。だから、するなと教えられるのだ。」1）手法をもう一つ増やしたところで、害になるはずもない。
技術進歩に対する彼の姿勢は、超知能へ向かうどんな、あるいはあらゆる前進も、危険の気配すらない純粋な善だという前提を中心に形作られていた――より正確には、幼少期に吸収した技術愛好がそのまま保たれていた。
振り返れば、この時点でエリエザー2001が必要としていたのは、HMC事象――停止、溶融、炎上（Halt, Melt, and Catch Fire）――を宣言することだった。それ以外のすべてを築いてきた土台の前提の一つに、欠陥があると明らかになったのだ。ここでは心にブレーキをかけて完全に停止しなければならない。誤った前提の上に築いたあらゆる信念から体重を抜き、できるかぎりすべてを一から考え直す。これは私がもっと書く必要のある技法だ。成人した宗教信奉者が、神は存在しないと初めて気づいたあと、本気で家の中を一掃するために必要となる、痙攣するような努力に似ている。
しかしエリエザー2001が実際にしたのは、新技術を禁止したり政府が統制したりすることが難しい理由について、以前からの技術愛好的な議論――「放棄」に反対する定番の議論――を繰り返し唱えることだった。
技術愛好者が、さまざまな種類の政府規制から生じると論じる、あの忌まわしい帰結のすべては、多かれ少なかれ正しいように今の私にも思える――誰かが何を間違えているかを言うほうが、正しい道筋を示すよりずっと簡単だ。今の私の見方も、技術恐怖の欠点について技術愛好者が間違っていると考える方向へ転じたわけではない。ただ、技術愛好の欠点について技術恐怖者が語ることには、以前よりはるかに共感する傾向がある。たとえば、政府が友好的AIについて何か賢明なことをする難しさに関して、過去のエリエザーが述べたことは、今でもかなり正しいように思える。ただ、科学や民間産業などに寄せていた彼の期待の多くも、今では同じくらい見当違いに思えるのだ。
とはいえ、技術変動的な見方の詳細に立ち入るのはやめよう。エリエザー2001は、ほかの技術と違ってAIは危険になり得ない、という重要な土台の前提をたった今、窓から放り捨てた。このことが彼の戦略に何らかの大きな影響を及ぼすはずだと、直観的には思うだろう。
まあエリエザー2001も、自己改変するヒューリスティクスのスープを使ったオープンソースAIマンハッタン計画という1999年の構想は、少なくとも諦めた。だが全体としては……。
全体として、以前の彼は、その時点での最善の案を使い、銃を撃ちまくりながらすぐに突撃したがっていた。そしてその後もやはり、銃を撃ちまくりながら突撃したがっていた。「やり方が分からない」とは言わなかった。「もっとよい知識が必要だ」とも言わなかった。「このプロジェクトはまだコーディングを始められる段階ではない」とも言わなかった。相変わらず、すべてが「時計は進んでいる、今すぐ動かなければ！ MIRIは十分な資金が入り次第、コーディングを始める！」だった。
以前の彼は、情報を全面的に共有しながら、できるだけ多くの科学的努力を集中させたがっていた。その後もやはり、その枠組みで考えていた。科学上の秘密主義＝悪役、開放性＝善玉。（エリエザー2001はマンハッタン計画について調べたことがなく、レオ・シラードがエンリコ・フェルミと交わした同様の議論も知らなかった。）
一つの大きな「しまった！」を、確率が移り変わる勾配へ変換することには、こうした問題がある。分水嶺となる一つの瞬間――目に見える巨大な衝撃――がなくなるため、同じくらい巨大な変化が必要かもしれないという手がかりもなくなる。
代わりに生じるのは、細かな意見の変化の数々だ……それらは、戦略のための議論を修復する機会を与える。正当化を少しずらしながら、「基本的な発想」はそのまま維持できる。システムがひび割れることなく吸収できる小さな衝撃だ。毎回、元に戻って自らを修復する機会が得られるからである。ただし合理性の領域では、ひび割れ＝良いこと、修復＝悪いことだ。合理性の技法においては、小さな過ちをいくつも認めるより、一つの巨大な過ちを認めるほうがはるかに効率的である。
人間には、以前の戦略や計画を保とうとする何らかの本能があるのだと思う。絶えず右往左往し、資源を浪費せずに済むようにするためだ。そしてもちろん、公に論じてきた立場なら何であれ、間違っていたという屈辱を味わわないために守ろうとする本能もある。若いエリエザーは長年合理性を目指して努力してきたが、こうした衝動と無縁ではない。それらは彼の思考へそよ風のような影響を及ぼし、残念ながら、それだけで十分すぎる害になる。
2002年になってさえ、以前のエリエザーはまだ、エリエザー1997の計画がうまくいくことなど到底あり得なかったと確信してはいない。うまくいったかもしれない。何が起こるかなんて、分からないだろう？
だが、すべてが音を立てて崩れ落ちる時がやって来た。
ジョン・ムーア『Slay and Rescue』（Xlibris Corp、2000年）。 ↩︎