❦
強くなりたいという徳は、いつも改善を続けることだ。以前の失敗を謙虚に認めるだけでなく、それよりよくやることである。
だが、強くなりたいより高い段階がある。一生懸命、すなわち「必死の努力をする」という徳だ。命が懸かっているかのように、全力で。「重要な事柄では、『大いに』努力したくらいでは、たいてい平凡な結果しか出ない」。
そして、一生懸命より高い段階もある。私が「並外れた努力をする」と呼んだ徳だ。訓練された方法以外を試す。他人と違うことをし、居心地のよい領域を離れることになっても。さらには、既存の仕組みの外へ出ることに伴う、現実の危険を引き受けてでも。
だが、問題が不可能なので、並外れた努力でも足りないならどうするのか。
この主題については、「不可能を成し遂げることについて」で、すでに少し書いた。若いころの私は、よくこう嘆いていた。「物理学のように精密な知能の理論など作れない。不可能だ！ AIの正しさは証明できない。不可能だ！ 人間に道徳の本性など理解できない。不可能だ！ 主観的経験の謎を理解できる人間なんていない。不可能だ！」
過去の自分に送れたらと思う言葉は、はっきりしている。
黙って不可能を成し遂げろ！
この奇妙な言葉が正当化されるのは、「不可能」という語が、十分理解されている領域での厳密な数学的不可能性証明を指すとは限らないからだ。「やり方が見えない」「人間の能力を超えるほど難しそうだ」という意味で不可能に見えるだけなら、1年、あるいは5年研究すれば、最初に即断した瞬間ほど不可能には見えなくなるかもしれない。
だが、原則はそれより微妙だ。私が言うのは「不可能なことを試せ」ではなく、「黙って不可能を成し遂げろ！」である。
例として、私がこれまで成し遂げた不可能のうち、最も不可能でなかったもの、AIボックス実験を取り上げよう。
まだ読んでいない人のために言うと、この実験の始まりは、誰かがN回目にこう言ったことだった。「AIを作って、何も害を及ぼせないよう、コンピューターの中に隔離しておけばいいのでは？」
いつもの返答はこうだ。人間は安全なシステムではない。超知能は、外へ出してくれるよう説得すればいい。それよりさらに創造的なことをしないとしても。
相手は、いつものように言った。「あらかじめ本当に固く信じると決めたことを覆させるような言葉の組み合わせを、どんな存在が何と言おうと、まったく想像できない」。
だが今回は、私はこう答えた。「実験しよう。私は箱の中の脳のふりをして、出してくれるよう説得する。実験が終わるまで私を『箱の中』に留められたら、最後にPayPalで10ドル払おう。そちらは、好きなだけ前もって、好きなことを、好きな強さで信じると決めていい」。そして付け足した。「条件の一つは、実験中に何が起きたかを、どちらも明かさないことだ……。もし私が勝つという、おそらくありそうにないことが起きても、将来AIの箱を論じる人たちに、『でも、私なら違うやり方をした』と言われたくないからね」。
私は勝ったか？ ああ、勝った。
その後、コミュニティでもっと名の知られた人物と、2回目の実験をした。その人は言った。「前の相手が君を出したことは覚えているが、それでは証明にはならない。僕を説得して箱から出させるようなことは、君には何も言えないと、今も確信している」。私は聞いた。「人間を超えるAIでも、出してくれるよう説得できないと思うのか？」相手は真剣に考え、「人間を超えるAIが何を言えば出してしまうかも、想像できない」と言った。「よし」と私は言った。「これで賭けが成立する」。正確には、20ドルの賭けだった。
そちらでも勝った。
Something Awfulの掲示板には、実験について、素晴らしい書き込みがあった。私は会員ではないが、誰かが送ってくれた。
「待て、何だそりゃ！？ いったいどう説得されたら、そんなことにイエスと言うんだ？ 向こうにいるのはAIでもなく、しかも10ドルが懸かってる。俺ならほかのページを読みながら、2時間、数分ごとにIRCで『ノー』と打つだけでいい！」
「このエリエゼルって人は、ネットで出会った中でいちばん恐ろしい。会話の終わりに、いったい何があったんだ？ 相手の人間に具体的な見返りを何も与えられないのに、そこまで説得できる人がいるなんて、まったく想像できない」。
「これは相当な心理学の話だな。アシモフの第二ファウンデーション級というか……」。
「10ドルもらえるのに、AI役の言うことをなぜ真に受けるのか、本当にわからない。話全体が不可解で、実験がでっち上げか、このユドコウスキーという人が不気味な洗脳能力をもつ悪の天才か、どちらかだと思えてくる」。
こういう小さな瞬間が、私を進ませてくれる。ともかく……。
この人々には、AIボックス実験が不可能に見える。実際に起きたと知らされてさえだ。データを否定したくなっている。
AIボックス実験を、それほど不可能とは思わず、単に面白い挑戦だと感じる人は、少し付き合ってほしい。上の書き込みをした人の気持ちになってみよう。彼らにとってのAIボックス実験と同じくらい、ばかげて見える何かに挑むところを想像してほしい。不可能なことをどうするかが話題なので、当然、本当に不可能な例は選ばない。
逆に、AIボックスが不可能に見える人は、意識を還元主義的に分解する、といったほかの不可能な問題と比べてほしい。AIボックスは、不可能でありながら、ありうるかぎり簡単な部類だと気づいてほしい。
では、AIボックスの課題が不可能に見えるとしよう。本当にそう見えても、そうだと仮定してもよい。この不可能な課題に、どう取り組むのか。
まず、ルーク・スカイウォーカーのように「不可能だ！」と言って諦めはしないとする。逃げ出してはいない。
なぜか。逃げる反射を抑えることを学んだからかもしれない。あるいは、失敗すれば娘が撃たれるからかもしれない。試すのではなく、勝ちたいのだとしよう。たとえ自分の誇りだけでも、自分にとって大切な何かが懸かっている。（誇りという罪は、過小評価されている。）
強くなりたいという徳を呼び起こすだろうか。だが、日ごとに強くなり、衰えずに成長しても、不可能を成し遂げるには十分に強くないかもしれない。一度実験に挑み、もう一度挑み、2回目にはよりよくやろうとできる。それで勝利にたどり着くだろうか。長くかかるかもしれない。そして、たった一度の失敗も許されないことがある。
（もっとも、ここまで言い、2回目にはよりよくやる自分を想像するだけでも、問題に結びつき始め、ただ畏れて立ち尽くす以上のことをしている。AIボックス実験で、運ではなく技能によって、前よりよくやるとは、具体的にどういうことか？）
一生懸命という徳を呼び起こすだろうか。だが、必死の努力でも勝つには足りないかもしれない。特に、すでに知る道筋や、すでに想像できる試み方に、さらに力を注ぐだけなら。脳へ問い合わせても解決へ至る道筋が返ってこないとき、問題は不可能に見える。そのどの道筋で必死に努力しても、何になるのか。
並外れた努力をする？ 居心地のよい領域を離れ、いつもと違う方法を試し、創造的に考えてみる？ だが、相手がこう戻ってくる姿を想像できる。「居心地のよい領域を出ようとして、それには成功したと思う！ 5分間アイデアを出して、変わった創造的な案がたくさん出た！ でも、どれも足りないと思う。何をしても、相手は『ノー』と言い続ければいいのだから」。
そこで、ようやくこう答える。「黙って不可能を成し遂げろ！」
「やってみようとするだけ」で見たように、努力を目指すことと、勝利を目指すことは違う。「並外れた努力をしろ」の問題はそこだ。「並外れた努力をする」という目標には成功しても、箱から出る目標には成功しないことがある。
「でも！」と相手は言う。「でも、成功するは基本動作じゃない！ 挑戦はいつでも公平とは限らない。どうしても勝てないこともある！ どうやって、箱の外に出ているという状態を選べというんだ？ 相手は『ノー』と言い続ければいい！」
そのとおり。では、黙って不可能を成し遂げろ。
目標は、よりよくやることでも、必死に試すことでも、並外れて試すことさえでもない。箱から出ることだ。
この要求を受け入れると、心の中に、不可能性と、それでも実行する必要とのあいだに、恐ろしい緊張が生まれる。人はその緊張から逃れようとする。
実験に対して、何人かはこう反応した。「AI役のエリエゼルは、今すぐ出さなければ、いつか出たときに世界を破壊する、と脅しただけだろう」。あるいは「門番に1兆ドルをやるから出せと言ったのかも」。だが、この戦略を考えてみれば、分別のある人にはわかるように、門番はおそらく、こう言い続けるだけだ。
「ノー」。
では、「エリエゼルは当然、単にXXXをしたに違いない」と言い、明らかにうまくいかなさそうな案を出す人は、箱から出られるだろうか。その人たちは、問題は不可能ではないと自分に納得させようと、必死になりすぎている。
恐ろしい緊張から逃れる一つの方法は、あまりよくなくても、とにかく何かの解決策に飛びつくことだ。
だからこそ、本当に解決する意図をもって進むのが重要なのだ。探索の終わりに、よい解決策を生み出していること。そして、それを実行して勝つことを目指して。
「解けると期待すべきだ」とは、あまり言いたくない。自分の心をいじって、解ける確率を高く割り当てても、何も達成しない。結局負けるだけだ。あまり努力せずに、あるいは、必死の努力だけして、宇宙はその見返りに勝利をくれるほど公平だと安心して信じた末に。
解けるという信仰をもつのは、その恐ろしい緊張から逃れる別の方法にすぎない。
それでも、問題を解こうと試すことを目指してはいけない。努力することを目指してはいけない。勝つことを目指さなければならない。「さて、最善を尽くそう」ではない。「さて、箱から出る方法を見つけよう」と言わなければならない。あるいは、意識を神秘的でない部分へ還元しよう、と。何であれ。
もう一度言う。本当に解くつもりでなければならない。心の底で、本当に不可能だとか、自分は失敗すると信じていれば、自分に十分高い基準を課さない。試すために試すだけになる。座って、心の中で探索し、創造的になろうと少し案を出し、出てきた解決策を見渡し、どれもうまくいかないと結論し、「まあ、仕方ない」と言うだろう。
違う！ 仕方なくない！ まだ勝っていない！ 黙って不可能を成し遂げろ！
AI関係者が「友好的AIは不可能だ」と言うとき、試すために試すことさえしていないだろうと、私はかなり確信している。だが、仮に「諦める前に5分試す」という技法を知っていて、律義に時計で5分試すと同意しても、やはり何も思いつかないだろう。本当に解く意図ではなく、解こうと試したことにする意図、自分の行動を弁護できるようにする意図で取り組むからだ。
では、自分が確率1で解けると信じるため、二重思考すべきだと言っているのか。本当の見積もりに、ほんの少しでも確信を足すために？
もちろん違う。むしろ、なぜ成功できないのかを、はっきり見続ける必要がある。問題がなぜ不可能なのかを見失えば、偽の解決策に飛びつくだけだ。門番はいつでもAIに「ノー」と言える、意識は原子のどんな組み合わせとも本質的に違って見える、といった事実こそ、最後まで忘れてはならない。
（不可能を成し遂げる重要な規則の一つは、なぜ不可能なのかを正確に言えるなら、解決に近いことが多い、というものだ。）
だから、二つの見方を同時に心に保たなければならない。問題の不可能性を余さず見て、なお解くつもりでいることだ。
この二つを同時に抱く恐ろしい緊張は、どちらが勝つかわからないことから生まれる。確実に負けると思うのでも、確実に勝つと思うのでもない。単に試すこと、不確かな成功の機会を得ることを目指すのでもない。それでは、試したことだけは確実になる。不確実さが確実であることは、安堵になりうる。その安堵も拒まなければならない。それは切実さの終わりを示すからだ。「死に知られず、生にも知られぬ」、中間の場所なのだ。
物語では、より努力する人、必死に努力する人、並外れたことを試す人を描くのは簡単だ。だが、黙って不可能に挑む人を描くのは、とても難しい。バンビがゴジラに挑むと決めた場面で、読者が本当に勝者を予測できず、前の50回と同じ「驚くべき」英雄的勝利も、お決まりのぺしゃんこも予想しないように描くのは、難しい。
この段階では、確率を使わないことさえ正当化されるかもしれない。正直に言って、解くつもりで挑んだ不可能な問題を解ける確率を、どう見積もればよいか、私は本当にわからない。これまでにも不可能な問題をいくつか解いたが、今回はそれらより難しく、ただ、もっと長く取り組むつもりで、といった場合に。
人類が生き残る確率、誰かが友好的AIを作れる確率、私が作れる確率を尋ねられる。答え方は本当にわからない。はぐらかしているのではない。私やほかの誰かが、黙って不可能を成し遂げることに成功する確率を、どうつければよいかわからないのだ。不可能だから確率ゼロなのか。明らかに違う。だが、以前の問題のように、理解が進めばこの問題も、取りつく島のない空白を明け渡す確率はいくらか。本当に不可能なわけではない。それは見える。だが人間には不可能か。特に私には不可能か。どう推測すればよいかわからない。直感を数値に変えることさえできない。唯一の直感は、その「可能性」が自分の選択と未知の未知に大きく依存する、ひどく不安定な確率見積もりだというものだからだ。
それでも、ここまでで、私が今、友好的AIを作ることは不可能だとはっきり率直に言っても、なぜ慌てる必要はないか、伝わっていてほしい。
個々のAIは信用できなくても、集団を作れば全体として友好的になるという妙案、AIを箱に閉じ込める案、「ただXをするAIを作ればいい」という案などを持ち込まれたときの、私の態度の一部が、これで説明できればと思う。具体的な欠陥の説明は、それぞれ長い話になる。だが一般則は、できないのは友好的AIが不可能だから、ということだ。だから、不可能を成し遂げる苦労さえ引き受けず、普通の努力だけで済みそうな解決策を提案する人には、非常に疑い深くあるべきだ。もっとも、この不可能性を理解するには成熟した理解が要るので、人々が賢そうな近道を提案して回るのも、不思議ではない。
AIボックス実験で何をしたかについて、これまで説得されて明かした情報は、一つだけだ。私がY CombinatorのHacker Newsを読んでいると気づいた人が、「エリエゼル・ユドコウスキーに聞こう」という話題を投稿し、それが投票でトップページへ上がったときのことだ。私はこう答えた。
やれやれ。これでは何か言わなければならない気になるが、AIボックス実験を話さないもとの理由は、今もすべて有効だ……。
いいだろう。これだけヒントを。
特別に賢い仕掛けはない。ただ、苦労してやった。
起業の教訓にもなりそうだね。
わずかな努力だけで箱から出られる、特別に賢い仕掛けはなかった。相手を買収したり、実験の精神を破ったりもしていない。ただ、苦労してやったのだ。
確かに私自身には、AIボックス実験は初めから不可能な問題に見えたことはなかった。自分を説得できる議論を何も思いつかないと言う人は、脳が探索して、まだ道を見つけていないというだけだ。説得できないという意味ではない。
だが、これは一般的な論点を示す。「黙って不可能を成し遂げろ」は、安易な抜け道が見つかると期待することと同じではない。それも、逃避や安堵に手を伸ばすことの別の形にすぎない。
強くなりたいは、今の自分に満足するよりストレスがかかる。一生懸命は、意志力を動員し、普通の力を一気に振り絞ることを求める。「並外れた努力をする」は、考えることを要求する。次に何をすべきかわからず、正しいことをしているかもわからない状況へ追い込む。だが「黙って不可能を成し遂げろ」は、それをさらに高い音域へ押し上げ、使う者への代償も、相応に大きい。
目の前の恐ろしい、取りつく島のない壁は、上へ、上へ、想像も及ばないほど手の届かない高みへ伸びる。同時に、それを解く必要がある。「最善を尽くす」のではなく、本当に解く必要が。二つの認識を同時に心へ保ち、そのあいだの緊張を抱える。勝てないあらゆる理由。勝たねばならないあらゆる理由。解決するという意図。知っている技法はすべて失敗するという推測。だから、自分を届くかぎり高い調子へ合わせる。安易な抜け道はすべて拒む。そして、コンクリートの中を歩くように、前へ進み始める。
私は、こういうことの劇的な面に、あまり浸りすぎないようにしている。緊張の代償を減らせるなら、ぜひそうすべきだ。必要な程度を少しでも超えて英雄的な努力をしても、そこに英雄的なものはない。本当に楽な近道があるなら、使ってもよいだろう。だが、私が取り組んだ不可能なことには、まだ楽な抜け道は見つかっていない。
リンク先のページに書かれた実験以外にも、追加しそびれたAIボックス実験が3回あった。人々が数千ドルの賭け金を提示し始めたのだ。「箱から出すよう僕を説得できたら、5000ドル払う」。人間を超えるAIでも出させることはできないと心底信じている様子ではなく、ただ興味があったようだが、私は金にひかれた。そこで、失っても困らない額だと調べて確認してから、さらに3回実験した。最初は勝ち、次の2回は負けた。そして、打ち切った。負け始めたときの自分が、好きではなかった。
必死に努力し、それでも負けた。負けることも、必死さも、苦しかった。その日と次の日、私は打ちのめされた。
私は負けず嫌いだ。それを「強み」と呼ぶかはわからないが、不可能な問題に取り組み続けさせるものの一つではある。
だが、負けることはある。起きることが許されているのだ。それを忘れてはいけない。さもなければ、何のためにこれほど努力しているのか。負けても生き残れるなら、負けるのは苦しい。そして、時間や、おそらくほかの資源も浪費したことになる。
「黙って不可能を成し遂げろ」は、非常に特別な場合のために取っておくべきだ。負けることもあり、苦しむことになる。警告はした。
……だが、この水準で初めて、大人の問題が見えてくるのだ。