❦
たまたま創造論者だった、汎用人工知能を作ろうとする人物（資金を得たプロジェクト持ち）に出会う以前の数年間、私はまだ、AGIを作りたがる一人ひとりを相手に議論しようとしていた。
当時私は、そうした一人を説得することに、いちおう成功した。確かに友好的AI（Friendly AI）を考慮しなければならないし、進化的アルゴリズムに適切な適応度尺度を見つければ済むわけではない、と納得させたのだ。（それ以前、彼は進化的アルゴリズムに大いに感銘を受けていた。）
するとその人は言った。ああ、なんという悲劇！ なんということだ！ 私はなんという愚か者だったのだ！ 不注意のせいで、世界を破壊するところだった！ かつての私はなんという悪党だったのだ！
さて、これは私にも、落ちてはならないと分かっていた罠だ――
――2002年の終わりごろ、エリエザー1997のAI提案を振り返り、それらが「本当は何をしたはずか」を語れるほど整合していた範囲で、それらが実際に何をしたはずか悟った時点でさえ。
自分の愚行の大きさがようやく見えたとき、すべてが一挙に収まるべき場所へ収まった。認識をせき止めていたダムがひび割れ、その背後に蓄積していた、口に出されない疑念が一斉に突き破ってきた。どうして自分はこれほど愚かだったのかと考え続ける長い期間も、記憶にあるかぎりでは、そう考える一瞬すらなかった。どうしてかは、すでに分かっていた。
そして同じ認識の瞬間、一挙に、私は世界を破壊するところだった！と言うのは自尊心が強すぎる、とも分かった。
そう言えば、あまりにも自我を肯定し、万物の構図における自分自身の重要性を肯定してしまう。そのとき――同じ認識の瞬間に理解したことだが――私の自我は腹へ強烈な一撃を受けるべきだった。私は、必要だった自分よりあまりにも劣っていた。その腹への一撃を受け止めなければならず、そらしてはならなかった。
同じ理由から、私はこれと対になる罠にも落ちなかった。まあ、コードを用意して実行する寸前だったわけではない。実際に世界を破壊しかけたわけではない。とも言わなかった。これもまた、一撃の力を弱めてしまう。本当は弾が入っていなかった？ 私は銃を作り、銃へ弾を込め、銃口を自分の頭へ当てて引き金を引くことを提案し、実行しようとしていた。それはいささか自己破壊的すぎた。
それを大げさで感情的な芝居にはしなかった。そんなことをすれば、一撃の力を無駄にし、ただの涙へそらしていただろう。
この六年間、周到に何をしないでいたのかも、その瞬間に分かった。私は更新していなかった。
そして、ついに更新しなければならないと分かった。やろうと計画していたことを実際に変え、今していることを変え、代わりに別のことをしなければならない。
止まらなければならないと分かった。
停止し、溶融し、炎上せよ。
「準備ができていない」と言え。「まだやり方が分からない」と言え。
AGIの分野では、これは口にするのが恐ろしく難しい言葉だ。一般の聴衆も、仲間のAGI研究者も、コードや、プログラマーが動いているプロジェクトに関心を持つ。それがなければ、「コードを書く準備はできている。あとは資金さえくれればよい」と言えば、いくらか評価してくれるかもしれない。
「コードを書く準備はできていない」と言えば、あなたの地位は劣化ウラン製の風船のように落下する。
そうなれば、汎用人工知能の作り方を知らないほかの六十億人と、あなたの違いは何なのか？ 気の利いたコード（明らかに人間のような知能を示す以外の何かをするコードだが、少なくともコードではある）もなければ、最低限、資金が入り次第コードを書く自分のスタートアップさえない――ならばあなたは何者で、私たちの会議で何をしているのか？
いつか、この態度がどこから来るのか書くかもしれない。「AGIの作り方を知っている！」と「AGIの作り方が分からないから、特化型AIに取り組んでいる」のあいだにある選択肢の欠落、「不完全なFAIの地図から完全なFAIの地図へ至ろうとしている」という概念の不在についてだ。
だがこの態度は実在する。ゆえに「コードを書く準備はできていない」と言うことに伴う地位の喪失は、きわめて大きい。（これを疑う人がいるなら、「私は汎用人工知能を作るつもりだ」「今はXを知らないのでAGIを作れない」「現在、Xを解明しようとしている」と同時に言う別の人を、誰でもよいから挙げてみてほしい。）
（まして、すでにベンチャー資金を調達し、五年で利益を出すと約束したAGI関係者のことはひとまず措こう。）
だから「止まれ」と言うことには、途方もない抵抗がある。「ああ、X解明モードへ戻ろう」と簡単に言うことはできない。そのようなモードは存在しないからだ。
私の場合、この抵抗には地位の喪失以上のものがあったのか？ エリエザー2001は、知能爆発へ向かって進んでいると自分が感じる勢いを鈍らせることにも、尻込みしたのかもしれない。それほど正しく、それほど必要な勢いだったのだから……。
だが何より私は、「コードを書き始める準備はできている」と言えなくなることに尻込みしたのだと思う。他者の反応を恐れただけではない。自分自身も同じ態度を教え込まれていたからだ。
とりわけ、エリエザー2001は、友好的AIの問題に気づいたあとでさえ「止まれ」と言わなかった。腹の底では、自然が自分を殺してもよいのだと悟っていなかったからだ。
「十代の若者は自分を不死身だと思っている」という格言がある。もちろん、彼らに「君は破壊不能なのか？」と尋ねれば、「そうだ、撃ってみろ」と答える、という文字どおりの意味では正しくない。だが、自分が死ぬという考えがまだ十分に現実的でなく、それが起こってよいとは本当には信じていないため、シートベルトを着けることが感情の奥深くに訴えないのかもしれない。原理上は起こり得ても、実際には起こり得ない。
個人的には、私はいつもシートベルトを着けていた。一個人として、自分が死に得ることは理解していた。
だが、技術愛好のなかで育てられ、自分の命よりはるかに重要な、あの最も貴重なものを大切にするよう教えられた私は、かつて「未来」は破壊不能だと思っていた。
ナノテクノロジーが人類を一掃し得ると認めたときでさえ、知能爆発は傷つかないとまだ信じていた。人類が生き延びさえすれば、知能爆発は起こり、その結果生まれるAIは賢すぎて、堕落したり失われたりすることはない、と。
そのあとでさえ、友好的AIを考慮事項として認めたときにも、失敗の可能性を感情では信じていなかった。それはシートベルトを着けない十代の若者が、自動車事故に自分を殺したり障害者にしたりすることが本当に許されていると、本当には信じていないのと変わらない。
最適化についての洞察によって、エリエザー1997を明るみに照らして振り返れるようになって初めて、私は自然が自分を殺してもよいのだと悟った。
「考えられない考えは、声に出して語る考えよりも強くあなたを支配する」。だが私たちが身をすくめて避けるのは、自分にとって現実的な恐怖だけだ。
AGI研究者は、ほかの誰かが先に問題を解く見込みをきわめて深刻に受け止める。自分の研究が出し抜かれた、と新聞の見出しが告げるところを想像できる。自然が自分たちにそうしてよいことを、彼らは知っている。会社を立ち上げた人々は、ベンチャー資金を使い果たしてもおかしくないと知っている。その可能性は彼らにとって現実的だ。まったくもって現実的であり、感情を強制する力を彼らに及ぼす。
「しまった」に続いて、自分たち自身の手によって六十億の肉体が倒れる音がすることは、彼らにとってまったく同じ水準では現実的でないのだと思う。
他人が考えていることを語るのは危険だ。だが友好的AIの見込みに対し、「安全性に取り組むため開発を遅らせれば、友好的AIをまるで気にしないほかのプロジェクトに先を越される」と反応する人には、自ら過ちを犯したあと六十億の倒れる音が響く見込みが、本当の意味で現実的ではないらしい。一方、他者に先を越される可能性は、心の底から恐ろしい。
自然が自分を殺してもよいのだと理解する前は、私もそのようなことを言っていた。
認識したその瞬間、幼少期からの技術愛好がついに砕けた。
科学の規則を勤勉に守り、善良な人であったとしても、自然はなお自分を殺してよいのだと、ついに理解した。候補となるあらゆるプロジェクトのなかで自分たちが最善だったとしても、自然はなお自分たちを殺してよいのだと、ついに理解した。
私は相対評価で採点されているのではないと理解した。視線が競争相手から振りほどかれ、ただ無情にそびえる壁が見えた。
振り返ると、以前の計画どおり全速力で前進し続けることが最も賢明な選択である理由について、自分が周到に組み立てた議論が見えた。そして、たとえ何かが最善の行動方針だと示す議論を組み立てても、自然はなお「だから何だ？」と言って自分を殺してよいのだと理解した。
振り返ると、根本的な過ちのリスクを考慮に入れたと自分が主張し、完全な知識がないまま進むリスクを許容する理由を論じていたことが見えた。
そして、自分が許容しようとしたリスクが自分を殺したはずだと分かった。この可能性が私にとって、一度も本当に現実的ではなかったことも分かった。リスクを取るための賢明で優れた議論があっても、そのリスクはなお、実際に起こってあなたを殺してよいのだと分かった。あなたを実際に殺してよいのだ。
重要なのは行為だけであり、何かをする理由ではないからだ。銃を作り、弾を込め、銃口を自分の頭へ当て、引き金を引けば、その一歩一歩を実行するための最も巧妙な議論があったとしても――轟音が鳴る。
規則を完全には知らないまま進むべきだと私が論じられたのは、自分が規則を知らなかったからこそだ、と分かった。規則を知らなければ、無知に科される罰をモデル化できないからだ。
まだ規則を知らない人々が、「私は先へ進み、Xをする」と言うのが見えた。そしてXがそもそも整合した提案である範囲では、それが轟音をもたらすと私は分かっていた。それでも彼らは「うまくいかないとは知らない」と言った。私が探索空間に対する標的の小ささを説明しようとすると、彼らは「私が宝くじに当たらないと、どうしてそこまで確信できる？」と言い、自らの無知を棍棒として振るった。
こうして、以前の無知な状態で自分を救うためにできた唯一のことは、「地面が安全だと確実に分かるまで、私は先へ進まない」と言うことだったのだと悟った。地雷が埋まっていないか分からない地面を踏むべき理由には、巧妙な議論がいくつもある。だが、自分が踏むことを提案し、そのつもりだった場所を見て、轟音を目の当たりにしたあとでは、そのどれもあまり巧妙には聞こえない。
するべきことをすべてしてもなお、自然はあなたを殺してよいのだと理解した。そのとき、私に残っていた最後の信頼が砕けた。そしてそのとき、合理主義者としての私の訓練が始まった。