❦
資金のあるプロジェクトで汎用人工知能を作ろうとしているのに、創造論者でもある人物に出会うより何年も前、私はまだ、AGIを作るつもりの人と一人ずつ議論しようとしていた。
そのころ、ある人物に、そう、友好的AIを考慮しなければならず、いいや、進化的アルゴリズムに適切な適応度尺度を見つけるだけではだめなのだ、と納得してもらうことに、ある程度成功した。（それまで彼は、進化的アルゴリズムに非常に感心していた。）
すると彼は言った。ああ、なんということだ！ なんと嘆かわしい！ 私は何と愚かだったのか！ 不注意のせいで、世界を滅ぼすところだった！ かつての私は、何という悪人だったのだ！
さて、この罠には、はまらないだけの分別が私にはあった――。
――2002年末に、エリエザー1997のAIの提案を振り返り、それが本当なら何を引き起こしていたかを悟ったときには。「本当なら何を引き起こしたか」と言えるほど、その提案に首尾一貫した部分がある限りでの話だが。
自分の愚かさの大きさがついに見えたとき、すべてが一度に腑に落ちた。気づきをせき止めていた堤防にひびが入り、その背後にたまっていた、口に出さない疑いが、一斉に押し寄せた。なぜあれほど愚かだったのかと思い悩む時期は、長く続いたどころか、覚えている限り一瞬もなかった。理由は、すでにわかっていた。
そして、気づいたまさに同じ瞬間に、世界を滅ぼすところだった！と言うのは、あまりに思い上がっているともわかった。
それは、自分の自尊心と、世界の中での自分の重要性を、あまりに肯定するものになってしまう。まさにそのとき、自尊心は腹に強烈な一撃を食らうべきだった。それも同時に理解したのだ。自分は、必要な水準にあまりにも足りていなかった。腹への一撃は、避けずに受けなければならなかった。
同じ理由で、対になるもう一つの罠にも落ちなかった。まあ、コードがあって実行寸前だったわけではない。本当に世界を滅ぼしかけたわけではない、というものだ。それも、一撃の威力を弱めてしまう。実際には弾が入っていなかった？私は銃を作り、弾を込め、頭に当て、引き金を引くことを提案し、実行するつもりだった。それは、いささか自己破壊的すぎた。
大仰な感情のドラマにはしなかった。それでは一撃の威力を無駄にし、ただの涙へそらしてしまう。
同じ瞬間、過去6年間、自分が慎重に何をしないできたかもわかった。更新していなかったのだ。
そして、ついに更新しなければならないとわかった。計画を実際に変え、今していることを変え、代わりに違うことをする必要があった。
止まらなければならないとわかった。
停止し、融解し、発火せよ。
「まだ準備ができていない」と言う。「どうすればよいか、まだわからない」と言う。
AGIの分野では、これはひどく言いにくい言葉だ。一般の聴衆も、仲間のAGI研究者も、関心があるのはコードであり、プログラマが動いているプロジェクトだ。それがなくても、「コードを書く準備はできている。資金さえくれれば」と言えば、多少は評価してもらえるかもしれない。
「コードを書く準備ができていない」と言えば、地位は劣化ウランの風船のように落下する。
それなら、汎用人工知能の作り方を知らないほかの60億人と、何が違うのか。立派なコード――当然、人間的知能以外の何かをするものだが、少なくともコードではある――もなければ、最低限、資金がつけばコードを書き始める自分の新興企業もない。なら、お前は何者で、この学会に何をしに来たのか。
この態度がどこから来るかは、いずれ書くかもしれない。「AGIの作り方を知っている！」と「AGIの作り方は知らないから、特化型AIを研究している」の中間が排除されていること。「友好的AIの不完全な地図から、完全な地図へ進もうとしている」という概念が存在しないことだ。
しかし、その態度は実際に存在し、だから「コードを書く準備ができていない」と言うことによる地位の喪失は、非常に大きい。（疑う人は、「汎用人工知能を作るつもりだ」「今はXを知らないので作れない」「現在はXを解明しようとしている」の三つを同時に言っている人物を、私以外に挙げてみてほしい。）
（5年後の利益を約束し、すでにベンチャー投資を集めたAGI関係者のことは、言うまでもない。）
だから、「止まろう」と言うことには、強い抵抗がある。「では、Xを解明するモードに戻ろう」と、ただ言うわけにはいかない。そのモードが存在しないからだ。
私の場合、地位の喪失以外にも、ためらう理由はあっただろうか。エリエザー2001は、あれほど正しく必要だった知能爆発へ向け、自分が進んでいると思う勢いを弱めることも、避けたのかもしれない……。
しかし大半は、「コードを書き始める準備ができている」と言えなくなるのを避けたのだと思う。他人の反応が怖いだけでなく、自分自身にも同じ態度が染みついていたからだ。
何より、エリエザー2001が、友好的AIの問題に気づいたあとでさえ「止まろう」と言わなかったのは、自然は自分を殺してもかまわないのだと、腹の底で理解していなかったからだ。
「十代の若者は、自分は不死だと思っている」とよく言う。もちろん、「君は壊れないのか？」と尋ねたら、「はい、試しに撃ってみてください」と答える、という文字どおりの意味ではない。だが、シートベルトを締めることに、深い感情的な切実さを覚えないのかもしれない。自分の死という考えが、十分に現実的ではなく、本当に起きてよいことだと信じていないからだ。原理上は起こりうるが、実際には起こりえない。
私個人は、いつもシートベルトを締めていた。一個人としては、自分が死ぬことを理解していた。
だが、技術への憧れの中で育ち、自分の命よりはるかに大切な、何より貴重なものを大事にするようになった私は、かつて未来は破壊できないと思っていた。
ナノテクノロジーが人類を滅ぼしうると認めたときでさえ、知能爆発は無敵だと信じていた。人類が生き残れば知能爆発は起こり、生まれたAIは、堕落したり失われたりするには賢すぎるはずだ、と。
さらにそのあと、友好的AIを考慮すべきだと認めてからも、失敗の可能性を感情としては信じていなかった。シートベルトを締めない十代の若者が、交通事故に殺されたり障害を負わされたりすることが実際に起きてもよいのだと、本当には信じていないのと同じように。
最適化についての洞察によって、エリエザー1997をありのままの光の中で振り返れるようになって初めて、自然は自分を殺してもかまわないのだと悟った。
「考えられない思考は、口にする思考より強くあなたを支配する」。だが私たちが目を背けるのは、自分にとって現実味のある恐怖だけだ。
AGI研究者は、他人が先に問題を解くという見通しを、非常に真剣に受け止める。自分の研究が出し抜かれたと告げる新聞の見出しを、想像できる。自然にそうされることはありうると、わかっているのだ。会社を作った人は、ベンチャー資金が尽きることもあると知っている。その可能性には現実味がある。非常に現実的で、感情的に行動を強いる力がある。
「しまった」のあとに、自分たちの手によって60億の体が倒れる音がすることは、同じくらい現実的だとは思えない。
他人が何を考えているかを語るのは危うい。しかし、友好的AIの見通しに、「安全性に取り組むために開発を遅らせたら、友好的AIをまったく気にしないほかのプロジェクトに先を越される」と反応するとき、自分たちが間違い、60億の体が倒れるという可能性には本当の現実味がなく、他者に先を越される可能性は深く恐ろしいのだ、というのはかなりありそうに思える。
自然は自分を殺してもかまわないと理解する前は、私もそんなことを言っていた。
その気づきの瞬間、子どものころからの技術への憧れは、ついに壊れた。
たとえ科学の規則に忠実に従い、善い人であっても、自然は自分を殺せると、ついに理解した。存在する候補の中で最善のプロジェクトであっても、自然は自分を殺せるのだと、ついに理解した。
相対評価を受けているのではないと理解した。視線は競争相手から振りほどかれ、何もない断崖のような壁が見えた。
振り返ると、以前の計画どおり全速で進み続けることが、なぜ最も賢い選択なのかを示す、念入りな議論が見えた。そして、ある行動が最善だという議論を組み立てたとしても、自然は「それがどうした？」と言って自分を殺してよいのだと理解した。
振り返ると、根本的な間違いのリスクを考慮していると自称し、十分な知識なしに進むリスクを受け入れる理由を論じていたのが見えた。
そして、受け入れたかったそのリスクが、自分を殺していただろうとわかった。その可能性は、それまで自分にとって本当には現実ではなかった。たとえリスクを取るための賢く優れた議論があっても、そのリスクはなお、自分を殺してよいのだとわかった。実際に、殺すのだ。
大切なのは行動だけであって、それをする理由ではない。銃を作り、弾を込め、頭に当て、引き金を引く。一つ一つの段階を実行するために、どれほど巧妙な議論を用意しても――そのあとは、バン、だ。
規則を完全には知らずに進むべきだと論じられたのは、自分が規則を知らなかったからこそだとわかった。規則を知らなければ、無知の代償をモデル化できないからだ。
まだ規則を知らない他者が、「このままXをやる」と言うのが見えた。Xが首尾一貫した提案である限り、その結果はバンだと、私にはわかった。だが彼らは、「うまくいかないとは知らない」と言った。探索空間の中で標的がどれほど小さいかを説明しようとすると、「私が宝くじに当たらないと、どうしてそんなに確信できる？」と言い、自分の無知を棍棒として振るった。
だから、以前の無知な状態で、自分を救うためにできた唯一のことは、「足元が安全だと確かにわかるまでは進まない」と言うことだったのだと悟った。地雷があるとは知らない地面を踏むべきだという巧妙な議論は、いくらでもある。しかし、自分が踏もうと提案し、踏むつもりだった場所を見て、その爆発が見えたあとは、どれもずっと賢くないものに聞こえる。
するべきとされたことを、すべてやっても、自然はなお自分を殺してよいのだと理解した。そのとき、最後に残っていた信頼が壊れた。そしてそのとき、合理主義者としての訓練が始まった。