真実に対して退却戦を戦う

❦

前回エリエザー₂₀₀₀と別れたとき、彼はAIに道徳をどう書き込むかという問いの探究を、始めたばかりだった。その理由は、完璧を目指す姿勢の重要性を歴史的な事例としてたまたま示すという点を除けば、まったく重要ではない。何かを練習すれば、上達するかもしれない。何かを調べれば、それについてわかるかもしれない。唯一重要なのは、エリエザー₂₀₀₀が実際に、AIの道徳について技術的に考えることに、仕事の時間と力をすべて注いでいることだ。以前のように、そんなことに時間を使わずにすむ理由を何でもいいから探しているのではない。結局、重要なのはこれだけだったとわかる。

だが、この話が始まる時点では――空が灰色に明るみ、太陽の先端が地平線からのぞくころには――、エリエザー₂₀₀₁はまだ、エリエザー₁₉₉₇が何らかの重要な意味で間違っていたとは認めていない。「万が一、人生に意味がないとわかった場合」の予備の計画を加えることで、エリエザー₁₉₉₇の戦略をさらによくしているだけなのだ……。

……つまり、エリエザー₂₀₀₁には今や、自分の誤りから離れる退路がある。

単に、エリエザー₂₀₀₁が「しまった！」と叫ぶ代わりに、「友好的AIは万一に備えた計画だ」と言える、という意味ではない。

エリエザー₂₀₀₁は今や、本当に万一に備えた計画を持っている、という意味だ。エリエザー₂₀₀₁が1997年の自分のメタ倫理学を疑い始めても、知能爆発には代わりの戦略がある。すなわち、友好的AIだ。エリエザー₂₀₀₁は、自分のメタ倫理学に疑問を持つことを、世界の終わりのしるしにせずに済む。

そして、その変化の勾配はなだらかになった。以前の自分が間違っていた可能性を10%と認め、次に20%と認めればよい。誤りのすべてを、一度に巨大な塊として吐き出す必要はない。

これではエリエザー₂₀₀₁は遅すぎると思うなら、私もまったく同感だ。

エリエザー_1996–2000の戦略は、「友好的AI」をまったく考慮せずに形づくられていた。考えていたのは、とにかく何でもいいから、できるだけ早く超知能を手に入れることだった。小さなコード片をごちゃ混ぜにしたスープ、場当たり的なヒューリスティクス、進化的プログラミング、オープンソース、うまくいきそうなものは何でも。できればマンハッタン計画のように、すべてのアプローチを同時に進める。（「どんな親も、子どもにするなと言うことを自分ではやってきた。だから、するなと言うべきだとわかるのだ」1。）アプローチをもう一つ加えたところで、害になるはずもない。

技術の進歩に対する彼の態度は、超知能へ向かう動きはどれも、すべて、危険のかけらもない純粋な善である、という前提のもとで形成されていた。より正確には、子どものころに吸収した技術への愛好から、そのまま保たれていたのだ。

振り返れば、この時点でエリエザー₂₀₀₁がすべきだったのは、HMC事態――停止（Halt）、融解（Melt）、発火（Catch Fire）――を宣言することだった。その上にほかのすべてを築いてきた根本的な前提の一つに、欠陥があると明らかになったのだ。ここでは心にブレーキをかけ、完全に停止しなければならない。間違った前提の上に築いたすべての信念に体重を預けるのをやめ、できるかぎりすべてを一から考え直す。これについては、もっと書く必要がある。それは、成人した信仰者が初めて神は存在しないと気づいた後、本気で頭の中を大掃除するために必要な、身を震わせるほどの努力に近い技だ。

だが、エリエザー₂₀₀₁が実際にしたのは、新技術を禁止したり政府が管理したりするのはなぜ難しいかという、以前の技術愛好者としての議論を繰り返すことだった。技術の「放棄」に反対する、お決まりの議論だ。

さまざまな政府規制から生じると技術愛好者が主張する、あのひどい帰結の数々は、今の私にも多かれ少なかれ正しいように見える。誰かのやり方の何が間違っているかを言うのは、正しいやり方を示すよりずっと簡単だ。現在の私も、技術嫌いの弊害について技術愛好者が間違っていると考えるようになったわけではない。ただ、技術愛好の弊害について技術嫌いが言うことには、はるかに共感するようになっている。たとえば、政府が友好的AIについて何かまともなことをする難しさに関して、以前のエリエザーたちが言っていたことは、今でもかなり正しいように思える。ただ、彼が科学や民間企業などに寄せていた希望の多くも、今や同じくらい見当違いに見えるということだ。

とはいえ、技術への態度が揺れ動くこの見方の細部には立ち入らないでおこう。エリエザー₂₀₀₁は、ほかの技術と違ってAIは危険になりえないという、大きな基礎的前提を、たった今、窓の外へ投げ捨てた。直感的には、これは彼の戦略に何らかの大きな影響を及ぼすはずだと思うだろう。

まあ、エリエザー₂₀₀₁は少なくとも、自己改変するヒューリスティクスのスープを使い、オープンソースでAI版マンハッタン計画を進めるという、1999年のアイデアは諦めた。しかし、全体としては……。

全体としては、以前の彼は、その時点での最善のアイデアをすぐに使い、銃を撃ちまくりながら突撃したがっていた。そして、その後もやはり、銃を撃ちまくりながら突撃したがっていた。「どうやればよいかわからない」とは言わなかった。「もっとよい知識が必要だ」とも言わなかった。「この計画はまだコードを書き始める段階ではない」とも言わなかった。相変わらず、すべてが「時計は進んでいる。今すぐ動かなければ！　MIRIは十分な資金が集まり次第、コードを書き始める！」だった。

以前の彼は、情報を完全に共有しながら、できるだけ多くの科学的努力を集中させたがっていた。そして、その後もやはり、そういう枠組みで考えていた。科学上の秘密主義＝悪者、公開＝善人。（エリエザー₂₀₀₁はマンハッタン計画を調べておらず、レオ・シラードがエンリコ・フェルミと交わした、よく似た議論も知らなかった。）

これが、一つの大きな「しまった！」を、徐々に確率が変わる勾配へと変えることの問題だ。同じくらい巨大な変化が必要かもしれないと気づかせる、決定的な転換点――目に見える大きな衝撃――がなくなってしまう。

代わりに、意見の小さな変化がいくつも起こる……そしてそのたびに、戦略を支える論拠を修復する機会ができる。正当化を少しずらしながら、「基本的な考え」はそのままにするのだ。システムに亀裂が入ることなく吸収できる、小さな衝撃である。毎回、戻って自分を修復する機会があるからだ。ただ、合理性の領域では、亀裂が入る＝よいこと、修復する＝悪いことなのだ。合理性の技においては、小さな誤りをいくつも認めるより、一つの巨大な誤りを認めるほうが、はるかに効率的である。

人間には、以前の戦略や計画を保とうとする本能のようなものがあるのだと思う。絶えずあちこちへ方針を変えて資源を浪費しないようにするためだ。そしてもちろん、間違っていたという屈辱を味わわずに済むよう、公に擁護した立場を守ろうとする本能もある。若いエリエザーは長年、合理性を求めて努力してきたが、こうした衝動から自由ではない。それらは彼の思考に、そよ風のようにかすかな影響を及ぼす。そして残念ながら、それだけで十分すぎるほどの害になる。

2002年になってさえ、当時のエリエザーは、エリエザー₁₉₉₇の計画がどうあってもうまくいかなかったと、まだ確信してはいない。うまくいったかもしれない。何が起こるか、わからないではないか？

だが、そのすべてが音を立てて崩れ落ちるときが来た。