❦
「もっと強くなりたい」という強くなりたいの美徳は、常に改善し続けること――以前の失敗を謙虚に告白するだけでなく、それよりうまくやること――である。
だが、強くなりたいより高い水準がある。これは「必死の努力をせよ」という一所懸命の美徳である。自分の命が懸かっているかのように、全力を尽くす。「重要な事柄では、『強い』努力によって得られるのは、たいてい平凡な結果だけである。」
そして一所懸命より高い水準がある。私が「非凡な努力をせよ」と呼んだ美徳である。訓練されたやり方以外を試す。たとえ、ほかの人がしていることと違うことをし、自分の快適圏を離れることになっても。〈システム〉の外へ出ることに伴う、きわめて現実的なリスクさえ引き受ける。
しかし問題が不可能であるため、非凡な努力さえ足りないとしたら？
私はすでに、「不可能をなすことについて」で、この主題についてある程度書いた。若いころの私は、これについてよく泣き言を言った。「物理学に精密な理論があるようには、知性の精密な理論を開発できない。不可能だ！ AIが正しいと証明することはできない。不可能だ！ 人間には道徳の本性を理解できない――不可能だ！ 人間には主観的経験の謎を理解できない！ 不可能だ！」
そして若い自分へ時間を遡って送りたい言葉を、私は正確に知っている。
黙って不可能を成し遂げろ！
この奇妙な言葉を正当化するのは、「不可能」という語が通常、十分理解されているように見える領域における、不可能性の厳密な数学的証明を指してはいないことである。単に「これをする方法が一つも見えない」または「人間の能力を超えていると思えるほど難しそうだ」という意味で何かが不可能に見えるなら、まあ、それを1年か5年研究すれば、即座に下した最初の判断の瞬間より、不可能でなく見えるようになるかもしれない。
だが原則は、これより微妙である。私は単に「不可能をなそうとせよ」と言うのではなく、「黙って不可能を成し遂げろ！」と言う。
例として、私がこれまで達成した中でもっとも不可能でない不可能、すなわちAIボックス実験を取り上げよう。
まだ読んでいない人のために説明すると、AIボックス実験は、誰かが私に「AIを作り、害を及ぼせないようコンピューターの中へ隔離しておけばよいのでは？」とN回目に言ったことから生まれた。
それに対する定番の返答はこうである。人間は安全なシステムではない。超知能は単に、外へ出すようあなたを説得する――実際、それよりさらに創造的な何かをしないとしても。
するとその人は、いつものように言った。「どんな存在が私へ語りうる、あらゆる言葉のどんな組み合わせであっても、あらかじめ本当に強く信じると決心したものに反するよう私を仕向けられるとは、想像しがたい。」
だが今回は、私は答えた。「実験しよう。私が箱の中の脳のふりをする。私を外へ出すよう説得してみる。実験中ずっと私を『箱の中』に保てたら、最後にPayPalで10ドル払う。そちらは、好きなことを、好きなだけ強く、好きなだけ前もって信じると決心してよい。」そして付け加えた。「試験条件の一つは、中で起きたことをどちらも明かさないことだ……私が勝つという、おそらく起こりそうもない事態になった場合、今後の『AIボックス』論者から『いや、でも私なら違うやり方をした』と言われたくない。」
私は勝ったか？ もちろん、勝った。
そして第二のAIボックス実験があった。共同体でよりよく知られた人物が言った。「［前の人］が君を外へ出したのは覚えているが、それは証明にはならない。箱から出すよう私を説得できることを、君が何か言えるとは今でも思わない。」そこで私は言った。「トランスヒューマンAIでも、外へ出すようあなたを説得できないと思う？」その人は真剣に考え、「トランスヒューマンAIでさえ、私に外へ出させるため言えることは一つも想像できない」と答えた。「よし」と私は言った。「これで賭けが成立する。」正確には20ドルの賭けだった。
それにも私は勝った。
Something Awfulフォーラムには、AIボックス実験について素敵な引用がいくつかあった（私は会員ではないが、誰かが転送してくれた）。
「待て、何だって？ いったいどうしたら、これにイエスと言うよう説得されるんだ？ 向こう側にAIはいないし、そのうえ10ドルが懸かっている。何ならほかのウェブページを読みながら、2時間、数分おきにIRCクライアントへ『ノー』と入力できるぞ！」
「このエリエザーという男は、インターネットが紹介してきた中でもっとも恐ろしい人物だ。その会話の最後には、いったい何があったのだろう？ 人間へ有形の誘因を何一つ提供できずに、そこまで説得力を持つ者がいるとは、まるで想像できない。」
「どうも、かなり本格的な心理学の話をしているらしい。アシモフの第二ファウンデーション級の……」
「10ドルをもらえるのに、AI役が言うことを誰かが真剣に受け取る理由が、本当に分からない。この件全体に当惑する。そして試験が捏造か、このユドコウスキーという男が不気味な精神操作能力を持つ、ある種の邪悪な天才なのだと思えてくる。」
こうした小さな瞬間が、私を進み続けさせる。だが、それはともかく……
ここにはAIボックス実験を見て、実際に起きたと教えられた後でさえ、自分には不可能に見えると感じる人々がいる。彼らはデータを否定する誘惑に駆られる。
さて、AIボックス実験がそれほど不可能に見えない人――単に興味深い課題に見える人――なら、ここでは少し付き合ってほしい。上の引用を書いた人々の心構えへ自分を置いてみよう。AIボックス実験が彼らに見えたのと同じくらい、馬鹿げて見えるものへ取り組むところを想像してほしい。不可能なことをどう成し遂げるかについて話したいのであり、明らかに本当に不可能な例を選ぶつもりはない。
そしてAIボックスがあなたには実際に不可能に見えるなら、たとえば意識の還元主義的分解のような、ほかの不可能な問題と比べ、AIボックスは不可能でありながら、問題としてはこれ以上ないほど容易だと理解してほしい。
さて、AIボックスの課題はあなたに不可能に見える――本当にそう見えるか、そう見えるふりをしている。あなたはこの不可能な課題をどうする？
まず、ルーク・スカイウォーカーのように「不可能だ！」と言って諦めはしないと仮定する。逃げてはいない。
なぜ逃げないのか？ 逃げる反射を無効にすることを学んだのかもしれない。あるいは、失敗すれば娘を撃つと言われているのかもしれない。私たちは、あなたが試みたいのではなく勝ちたいのだと仮定する。自分の誇りにすぎないとしても、何か大切なものが懸かっている。（誇りは過小評価された罪である。）
「強くなりたい」の美徳を呼び起こすか？ だが日々強くなり、衰える代わりに成長しても、不可能をなすほど強くはならないかもしれない。AIボックス実験へ一度入り、それからもう一度行い、二度目はもっとうまくやろうと試みられる。それで勝てる地点へ到達するだろうか？ おそらく長い間は無理であり、ときには一度の失敗さえ許容できない。
（ただし、ここまで言うだけでも――二度目にはもっとうまくやる自分を思い描くだけでも――問題へ自分を結びつけ、ただ畏敬して立つ以上のことをし始める。一度のAIボックス実験を、その前より具体的にどうすればうまくできるか？――しかも運ではなく、技能によって？）
一所懸命の美徳を呼び起こすか？ だが必死の努力では、勝つのに足りないかもしれない。とりわけ、その必死さが、すでに知る経路、すでに想像できる試み方へ、より多くの努力を注ぐだけなら。問題が不可能に見えるのは、脳への問い合わせが、そこへ至る解決経路を一つも返さないときだ。そうしたどの経路に沿って必死に努力したところで、何の役に立つ？
非凡な努力をする？ 快適圏を離れる――既定でない物事のやり方を試す――創造的に考えることさえ試す？ だが、戻ってきた者がこう言うところを想像できる。「快適圏を離れようと試みて、その点では成功したと思う！ 5分間ブレーンストーミングして――奇抜で創造的な着想をあらゆる種類、思いついた！ でも、どれも十分良いとは思わない。私が何をしようと、相手はただ『ノー』と言い続けられる。」
そこでようやく、私たちは答える。「黙って不可能を成し遂げろ！」
「『試みる』ことを試みる」から思い出せるように、努力へ乗り出すことは、勝つために乗り出すことと違う。これが「非凡な努力をせよ」と言うことの問題である。箱から出るという目標に成功しなくても、「非凡な努力をする」という目標には成功できる。
「でも！」とその人は言う。「でも、成功するは原始的な行為ではない！ すべての課題が公平ではない――どうしても勝てないこともある！ 箱の外にいることを、どうやって選べというのか？ 相手はただ『ノー』と言い続けられる！」
そのとおり。さあ、黙って不可能を成し遂げろ。
目標は、もっとうまくやることでも、必死に試みることでも、非凡に試みることさえでもない。目標は箱から出ることである。
この要求を受け入れると、心の中に、不可能であることと、それでもなさなければならないという要請の間の、ひどい緊張が生まれる。人々はこのひどい緊張から逃げようとする。
AIボックス実験へ反応し、こう言った人が何人かいる。「まあ、AIを演じるエリエザーはおそらく、すぐに外へ出さなければ、外へ出たとき世界を破壊すると脅しただけだ」あるいは「AIは門番へ、外へ出してくれれば1兆ドル払うと申し出たのかもしれない。」だが、分別ある者ならこの戦略を考えれば気づくとおり、門番はおそらく、ただこう言い続ける。
「ノー。」
では「まあ、もちろんエリエザーは単にXXXをしたに違いない」と言って、かなり明らかに働かないものを提示する人々は、箱から脱出できるだろうか？ 彼らは問題が不可能でないと自分を納得させようと努力しすぎている。
ひどい緊張から逃げる一つの方法は、あまり良くなくても、何でもよいから一つの解決策へ飛びつくことである。
だから、本物の解く意図をもって進み出ることが重要である――探索の終わりに解決策を、良い解決策を生み出しているという意図を持ち、それからその解決策を実行して勝つ。
「問題を解けると期待すべきだ」とは、必ずしも言いたくない。問題を解くことに高い確率を割り当てるよう自分の心をハックしても、何一つ達成しない。ただ最後に負けるだけである。おそらく、それほど努力もせずに――あるいは単に必死な努力をし、宇宙は十分に公平だから、その見返りに勝利を与えてくれるという信仰に安心しながら。
問題を解けるという信仰を持つことは、ひどい緊張から逃げるもう一つの方法にすぎない。
それでも――問題を解こうと試みるために乗り出してはならない。努力するために乗り出してはならない。勝つために乗り出さなければならない。「そして今から最善を尽くす」と自分へ言ってはならない。「そして今から箱から出る方法を解明する」――あるいは意識を神秘的でない部分へ還元する、または何であれ――と自分へ言わなければならない。
もう一度言う。問題を解くと本当に意図しなければならない。心の中で、問題は本当に不可能だと信じているなら――あるいは、自分は失敗すると信じているなら――自分へ十分に高い基準を課さない。ただ試みるために試みるだけになる。座り――心的な探索を行い――創造的になろうとし、少しブレーンストーミングし――生み出した解決策すべてを見直し――どれも働かないと結論し――「まあ、いい」と言う。
違う！ よくない！ まだ勝っていない！ 黙って不可能を成し遂げろ！
AI関係者が「友好的AIは不可能だ」と私へ言うとき、彼らは試みるために試みてさえいないと、私はかなり確信している。だが「諦める前に5分試す」という技法を知っていたとして、時計で5分間、律儀に試すことへ同意しても、やはり何も思いつかないだろう。問題を解く本物の意図ではなく、自分を弁護できるよう、問題を解こうと試みた状態になる意図だけを持って進むからである。
では私は、問題を確率1で解くと自分に信じさせるため、二重思考すべきだと言っているのか？ あるいは、自分の真の推定へ、ほんの一厘でも信頼度を加えるため、二重思考すべきだと？
もちろん違う。実のところ、成功できない理由をすべて視野に保つ必要がある。問題がなぜ不可能なのかを見失えば、偽の解決策へ飛びつくだけである。もっとも忘れてはならない事実は、門番はいつでもAIへ「ノー」と言えること――あるいは意識は、原子のどんな可能な組み合わせとも本質的に異なるように見えること、等々である。
（〈不可能をなすための規則〉の鍵の一つは、何かが不可能な理由を正確に述べられるなら、しばしば解決策へ近づいているということだ。）
だから、問題の完全な不可能性を見ながら、それを解こうと意図するという、二つの見方を同時に心へ保たなければならない。
同時に存在する二つの見方の間のひどい緊張は、どちらが勝つか分からないことから生じる。確実に負けるとも、確実に勝つとも期待しない。単に試みるため、単に成功する不確かな可能性を得るために出発するのでもない――その場合、試みた状態になることは確実だからだ。不確実であることの確実性は安堵になりうるが、その安堵も拒まなければならない。それは必死さの終わりを示すからである。それは「死に知られず、生にも知られぬ」中間の場所である。
フィクションでは、誰かがもっと努力すること、必死に試みること、非凡なことを試みることさえ、簡単に示せる。だが、黙って不可能へ挑む者を示すのは非常に難しい。バンビがゴジラへ挑むことを、読者がどちらの勝利か本気で分からない形で描くのは難しい――過去50回と同じ「驚異的な」英雄の勝利も、既定の踏み潰しも予想させずに。
この時点では、確率を使うのを拒むことさえ正当化されるかもしれない。正直に言えば、解こうという意図をもって進み出た不可能な問題を解く確率の推定方法を、私は本当に知らない。以前いくつかの不可能な問題を解いたが、特定の不可能な問題はこれまで解いた何より難しく、しかしより長く取り組むつもりである、等々という場合に。
人類が生き延びる可能性、誰かが友好的AIを作れる可能性、私が一つ作れる可能性を、人々は尋ねる。私は答える方法を本当に知らない。はぐらかしているのではない。私またはほかの誰かが、黙って不可能をなすことに成功する確率を、どう推定すればよいか分からない。不可能だから確率ゼロなのか？ 明らかに違う。だが以前の問題と同じく、よりよく理解したとき、この問題が屈しない空白を明け渡す可能性は、どれほどか？ 本当に不可能でないことは分かる。それくらいは見える。だが人間には不可能か？ とりわけ私には不可能か？ どう推測すればよいか分からない。直感的な感覚を数へ翻訳することさえできない。私が持つ唯一の直感的感覚は、「見込み」が私の選択と未知の未知へ強く依存するというものだからだ。ひどく不安定な確率推定である。
だが今、友好的AIを作るのは不可能だと明瞭かつ率直に言っても、パニックに陥るべきでない理由は、ここまでで明らかにできたと思いたい。
信頼できる個体が一つもなくても全体を友好的にするAI共同体を作るための、さまざまな妙案、AIを箱に閉じ込めておく提案、「XをするAIを作ればよい」といった提案を、人々が私へ持ってくるときの、私の態度を説明する助けになればと思う。具体的な欠陥を述べるなら、それぞれについて長い話全体になる。だが一般則は、友好的AIは不可能だから、それはできない、というものだ。だから、普通の努力しか含まないように見える解決策――不可能なことを何かするという面倒さえ引き受けない解決策――を提案する者には、実に強い疑いを向けるべきである。ただし、この不可能性を理解するには成熟した理解が必要なので、人々が巧妙な近道を提案して回るのは驚くことではない。
AIボックス実験について、これまでに説得されて、やり方について明かした情報は一片だけである。私がY CombinatorのHacker Newsを読んでいると誰かが気づき、「エリエザー・ユドコウスキーに聞く」というトピックを投稿して、トップページへ投票で上がったときだ。私はこう答えた。
ああ、困った。これでは何か言う義務があるように感じるが、AIボックス実験を論じない当初の理由はすべて、今も有効である……
分かった、これくらいの手がかりなら。
超巧妙な特別の技はない。私はただ、難しいやり方でやった。
そこには、ある種の起業家的教訓があるのだろう。
安価な努力だけを使って箱から出られる、超巧妙な特別の技はなかった。相手のプレイヤーを買収したわけでも、ほかの形で実験の精神へ違反したわけでもない。ただ難しいやり方でやった。
認めると、AIボックス実験はそもそも私には不可能な問題に見えなかった。何かについて自分を納得させる可能な議論を一つも思いつけないとき、それは単に、その人の脳が、まだ経路を見つけていない探索を実行しているということだ。その人を説得できないという意味ではない。
だが、これは一般的な要点を例示する。「黙って不可能を成し遂げろ」は、安上がりな出口を見つけられると期待することとは違う。それもまた、逃げること、安堵へ手を伸ばすことの別の形にすぎない。
強くなりたいは、現在の自分に満足するよりストレスが多い。一所懸命は、通常の力を痙攣的に出力するため、意志力を呼び起こす。「非凡な努力をせよ」は、考えることを要求する。次に何をすればよいか分からず、正しいことをしているか確信できない状況へ置く。だが「黙って不可能を成し遂げろ」は、同じもののさらに高いオクターブを表し、それを用いる者の費用も、それに応じて大きい。
目の前で、恐ろしい白紙の壁が上へ、上へ、上へ、想像もできないほど手の届かない遠くへ伸びている。そして、それを解く必要もある。最善を「試みる」のではなく、本当に解く必要がある。二つの認識を同時に、一度に心へ保ち、その間の緊張を感じる。勝てないすべての理由。勝たなければならないすべての理由。問題を解くという意図。知っているすべての技法が失敗するという外挿。そこで、到達できるもっとも高い音程へ自分を調律する。安価な出口をすべて拒む。それから、コンクリートの中を歩くように、前へ進み始める。
私は、こうした物事の劇的側面をあまり考え続けないようにしている。その緊張が自分へ与える費用を減らせるなら、ぜひそうすべきだ。必要よりほんの少しでも英雄的な努力をすることに、英雄的なところは何もない。本当に安い近道があるなら、使ってもよいだろう。だが私が取り組んだどの不可能にも、安価な出口をまだ見つけていない。
リンク先ページで述べたもののほかに、AIボックス実験がさらに3回あったが、私は結局追加しなかった。人々は賭け金として数千ドルを申し出始めた――「箱から出すよう私を説得できたら、5000ドル払う。」彼らは、トランスヒューマンAIでさえ自分に外へ出させることはできないと、心から確信しているようには見えなかった――単に好奇心があった――が、私はお金に誘惑された。そこで、失っても支払えることを確かめるため調査した後、さらに3回AIボックス実験を行った。最初は勝ち、その次の2回は負けた。そして私は打ち切った。負け始めたときの自分が、好きになれなかった。
必死の努力を注いだが、それでも負けた。負けたことも、必死になったことも痛かった。その日と翌日、私はだめになった。
私は負けるとひどく悔しがる質だ。それを「長所」と呼ぶかは分からないが、不可能な問題へこだわり続けるよう私を駆り立てるものの一つである。
だが、負けることはある。起きることが許されている。それを決して忘れてはならない。さもなければ、なぜこれほど懸命に試みる？ 生き延びられる損失なら、負けると痛い。そして時間を、おそらくほかの資源も浪費した。
「黙って不可能を成し遂げろ」は、非常に特別な機会だけに留めるべきである。負けることはあり、痛みを伴う。警告はした。
……だが大人の問題が視界に入り始めるのは、この水準だけである。