火災報知器は何のためにあるのだろうか。
火事が起きているという重要な証拠を知らせ、それに応じて行動方針を変え、建物から避難できるようにするためだ、と考えるかもしれない。
1968年にラタネとダーリーが行った古典的な実験では、学生3人ずつの8組に、ある部屋で質問票に答えてもらった。ほどなく、その部屋には煙が充満し始めた。8組のうち5組は、せきが出るほど煙が濃くなっても、反応せず、煙について報告もしなかった。その後、条件を変えた実験では、学生が1人だけなら75%が対応するのに、無関心を装うよう指示された役者2人と同席していると、対応するのは10%にすぎないことがわかった。この実験やほかの実験から、起きているのは多元的無知だとほぼ突き止められたように見えた。緊急事態でもないのに怖がって、うろたえていると思われたくない。だから平静を装いつつ、目の端で周囲の反応をうかがう。ところが当然、周囲も平静を装おうとしている。
（この研究の追試や条件を変えた実験をいくつも読んだことがあるが、効果の大きさは歴然としている。再現性の危機で消えていく研究結果の一つになるとは思わないし、この結果に再現性の危機が及んだという話もまだ聞いていない。ただ、今では何にでも「そうではないかもしれない」という印を付けておかなければならない。）
火災報知器は、火事が起きていることを共通知識にする。「私が知っていることをあなたも知っている」という意味での共通知識だ。それによって、反応しても社会的に差し支えなくなる。警報が鳴れば、ほかの全員も火事だと知っているとわかる。建物から出ていっても面目を失わずに済むとわかる。
火災報知器は、火事が起きていると確実に教えてくれるわけではない。実際、警報に従って建物から出たとき、本当に火事だったという経験は、生涯で一度も思い出せない。火災報知器は、ドアの下から流れ出る煙よりも、火事の証拠としては弱いのだ。
それでも火災報知器は、火事に反応しても社会的に大丈夫だと教えてくれる。今から整然と避難しても恥をかかないことを、確実に保証してくれる。
これは、自分が何を信じているかについて、人が誤った信念を持つ例の一つだと思う。大一番では地元チームが勝つと声高に主張していた人が、賭けを持ちかけられた途端に引き下がるようなものだ。チームが勝つと叫ぶときの心地よい高揚感と、チームの勝利を予期する感覚とを、意識の上で区別していないのである。
ドアの下から出る煙を見てためらう人は、この不確かで揺らぐ感覚は、火事が本当に起きている確率を十分高く見積もっていないせいであり、行動に移せないのは労力や時間を無駄にするのを恐れているからだ、と考えているのだと思う。そうだとすれば、自分の感覚を読み違えている。本当にそれが理由なら、火災報知器を聞いても同じようにためらうはずだし、むしろためらいが強くなるはずだ。警報は、ドアの下から出る煙より火事との相関が弱いからだ。この不確かで揺らぐ感覚の源は、火事が起きていないかもしれないという心配ではなく、ほかの人は違うことを信じているかもしれないという心配なのである。行動したくないのは労力を無駄にしたくないからではなく、愚かに見られたくないからだ。だからこそ、部屋に1人でいる学生は75%が火事に対処し、また人々は、はるかに弱い証拠である火災報知器には難なく反応できる。
汎用人工知能（AGI）の問題（背景はこちら）への対応は、もっと後になってから始めるべきだ、という提案をときどき耳にする。まだ遠い将来の話なので、今の段階では実りある取り組みなどできない、というのがその理由だ。
（今できることがある、という直接の議論については、SoaresとFallenstein（2014/2017）、Amodei、Olah、Steinhardt、Christiano、Schulman、Mané（2016）、またはTaylor、Yudkowsky、LaVictoire、Critch（2016）を参照してほしい。）
（仮にこれらの論文が一つも存在しなかったとしても、あるいは、あなたがこれらを読んで全部くだらないと思ったAI研究者で、アラインメントに取り組みたいのに何ができるかわからないのだとしても、次に取るべき賢明な行動は、腰を据えて時計できっちり2時間測り、考えられるアプローチを真剣に探すことだ。その際には、もっともらしい案を何も思いつかないよう自分で自分の邪魔をしないことが望ましい。あくまで仮の話だが、今取り組むべきことなど何もないと思えるほうが実はずっと気楽だと感じていれば、そういう自己妨害が起こりうる。たとえば、そのほうが、もっと興味のある別のことに取り組めるからだ。）
（まあ、この話はよそう。）
つまり、AGIはやや遠い未来のことに思える、それを根拠に、AGIアラインメントについて今はまだ有益なことを何もできないと結論するなら、暗黙に提示されている代替戦略はこうなる。いつ起きるかも何なのかもわからない、AGIの接近を告げる将来の出来事を待とう。そうなって初めて、AGIアラインメントに取り組み始めてもよいのだと、みんながわかるだろう。
私には、この考え方はいくつもの点で間違っているように思える。そのいくつかを挙げよう。
第一に： スチュアート・ラッセルが指摘したように、宇宙から無線信号を受信し、望遠鏡で宇宙船を見つけ、宇宙人が30年後に着陸するとわかったなら、それでも今日からそのことを考え始めるだろう。
「ふうん、30年も先ならどうでもいい」とはならないはずだ。まして、「もっと近づくまでは何もできないね」などと気軽に言うはずもない。今始めるべきことが何かないか、時計で2時間、少なくとも5分間は測って、案を出してみるはずだ。
宇宙人が30年後にやってくるので、今日は何もしない、と言ったとしよう。もし今より物事をもっと有効に進められる時代なら、何をいつ始めるべきだと考えているのか、宇宙人の到着までにどれだけの時間を確保するつもりなのか、誰かに予定表を求められるだろう。それが用意できていなければ、あなたは対応時期を検討した計画に従っているのではなく、ただ先延ばしにして何もしていないのだとわかる。そして、今日できることをさほど真剣に探しもしなかったのだろう、と正しく推測されるだろう。
ブライアン・カプランの言い方を借りれば、宇宙人に備えて「今できることは何もない」のを平然と受け止めている人には、あるべき感情が欠けている。準備の方法を何一つ思いつけないことに、もっと危機感を抱くはずなのだ。誰かほかに案を思いついた人がいないか、尋ねてもよさそうなものだ。まあ、この話はよそう。
第二に： 歴史を見ると、一般の人々はもちろん、中枢の研究集団に属さない科学者、さらにはその中枢の集団に属する科学者でさえ、重要な技術の実現まであと5年という段階でも、まだ何十年も先のことだと思っている場合が非常に多い。
空気より重い機体による初飛行を兄弟で成し遂げる2年前、1901年にウィルバー・ライトは弟に、動力飛行の実現は50年先だと言った。
ウランの塊を積んだ原子炉で最初の臨界連鎖反応を自ら指揮する3年前、1939年にエンリコ・フェルミは、ウランを使って核分裂の連鎖反応を持続させることは不可能だと、90%の確信を表明した。さらにその1年後、つまり実現の2年前には、核分裂で正味のエネルギーを取り出すことが仮に可能だとしても（そのころには可能性を以前より認めていた）、実現は50年先だと述べた、と記憶している。ただし、こちらは出典を控え忘れた。
そしてもちろん、ライト兄弟でもフェルミでもない人は、なおさら驚くことになる。世界の大半は、朝起きて広島についての新聞の見出しを読み、原子兵器が現実のものになったと知った。ライト・フライヤー号の飛行から4年経った後でさえ、空気より重いものは飛行できないと言っていた、名のある知識人たちがいた。当時は知識が伝わる速度が今より遅かったのだ。
空気より重いものによる飛行や原子力の実現が迫っている兆候として、今なら後知恵で読み取れる出来事はあっただろうか。もちろんあった。しかし当時の新聞を実際に読み、人々がその時点で何と言っていたかを見れば、それが兆候だとはわかっていなかったか、兆候かもしれないとは思っても非常に不確かだったことがわかるだろう。「熱狂的未来論者」の役を演じる人々は大変革が目前だと宣言し、「冷静な科学者」の役を演じる人々は、その子どもじみた熱狂に冷や水を浴びせようとしていたのだろう。この部分は、その数十年前にもほぼまったく同じだったはずだ。その喧騒のどこかに、何十年も先なら「何十年」、5年先なら「5年」と言い当てた超予測者がいたとしても、雑音の中から見つけ出すのは至難の業だ。むしろ超予測者とは、大きな進展が翌日に迫っていても数十年先でも、「明日かもしれないし、何十年も先かもしれない」と言っていた人たちだった可能性が高い。
後知恵バイアスによって、当時の誰にも実際にはできなかったほど過去を予測可能に感じてしまう主な仕組みの一つは、後から見れば何に注目すべきかわかっていて、一つひとつの証拠が何を示すかについても、ある一つの考えだけに固執することだ。歴史の中で人々がその時点に実際に言っていたことを見れば、出来事の3か月前でも、たいてい何が起こるか見当もついていない。どの兆候が何を意味するのかわからないからだ。
「AGIは50年先だ」と口にして、たまたまそれが当たることはありうる。動力飛行が実際に何十年も先だったころにも、何十年も先だと言っている人はいたし、その人たちはたまたま正しかった。問題は、歴史を後から読むのではなく、その中を実際に生きていると、どちらの場合もすべて同じように見えるということだ。
誰かが「50年先だ」と言うたびに、必ず2年後に実現するというのではない。遠い未来のことだという、この自信に満ちた予測は、大きな進展の本当に、本当に間近に来るまで、内側からは同じ感触のする技術認識の状態に対応しているのだ。それは「まあ、どう実現すればよいのか私にはわからない」という認識状態である。大きな進展の50年前にそう言うこともあれば、2年前にそう言うこともあり、ライト・フライヤー号が目の届かない場所ですでに飛んでいる最中に、そう言うこともある。
第三に： 進歩を動かすのは平均的な知識ではなく、最先端の知識だ。
フェルミやライト兄弟でさえ3年前に見通せなかったのなら、ほかの人に見通すことがどれほど難しいか、想像してほしい。
その実現方法について世界の知識の頂点におらず、後に最先端だったと判明するプロジェクトの進展をすべて把握してもいないなら、大きな進展が迫っていることを、自分の知識だけから察することはまったくできないだろう。狩猟採集民の部族では必要とされなかったような形で、他人の立場に立つことがとても得意で、自分が知らないことにすら気づいていない技術や着想を、ほかの人は知っているかもしれないと理解することがとても得意でない限りは。この点に関する歴史の教訓を踏まえて意識的に補正しなければ、あなたはすぐ「何十年も先だ」と言うだろう。フェルミも、最初の原子炉を建設する3か月前にまで、正味の原子力エネルギーは不可能か何十年も先だと思っていたわけではない。その時点ではすべてを把握し、実現方法が見えていたからだ。しかし内情を知らない人には、シカゴ大学のスカッシュコートで実物の原子炉が稼働している最中でさえ、おそらくまだ50年先のことのように感じられただろう。
大きな進展の時期を決めるのは、その分野の最先端の知識、つまり最も多くを知り、最良の着想を持つ人々がある閾値に達する時点である。一方、自分自身が持つのは平均的な知識だから、自分の知っていることは、大きな進展がいつ起こるかを示す強い証拠にはならない。人々はこの事実を自然には織り込まないようだ。そもそもそんなことは考えず、自分が感じる難しさだけで見当を付けているのだと思う。それ以上に意図的で内省的なことを考え、自分の見方を歪める要因の補正に実際の労力をかけているのであれば、その推論は私の読めるところには書いてくれていない。
AGIが何十年も先だと知るためには、パズルのどのピースが欠けているのか、それらを手に入れるのがどれだけ難しいのかがわかるほど、AGIを理解している必要がある。しかし、そのような見通しが得られるのは、パズルが完成してからである可能性が高い。言い換えれば、最前線の外にいる人には、最前線にいる人に比べてパズルがより未完成に見える。そのプロジェクトは、実証する前に理論を公開するかもしれない。そうしないでほしいとは思うが。しかし、未実証の理論なら今もある。
繰り返すが、人々が「50年先だ」と言っていることは、どこかのスカッシュコートで何かが起きている確実な兆候だ、というのではない。60年前にも「50年先だ」と言っていた。言いたいのは、最先端のプロジェクトの進捗報告を把握せず、具体的な実現方法と必要な労力についての最良の着想もすべて共有していない人に、技術の実現時期が事前に予測できると考えているなら、歴史から間違った教訓を学んでいる、ということだ。とりわけ、進歩の道筋と目に見える兆候を整然と並べた歴史書からだ。それらが重要な証拠だったことは、今なら誰でも知っている。大きな進展がいつ起こるにせよ、その帰結について有益な条件付きの話ができる場合はある。しかしその進展の時期について、1年か2年を超える先まで自信を持って予測できることはめったにない。そして、もしあなたが時期を言い当てられる稀な人の一人だったとしても、そもそもそんな人がいるのかどうかわからないが、ほかの人は「熱狂的未来論者」や「冷静な懐疑派」ではなくあなたに注目すべきだとは知らないのである。
第四に： 未来では違う道具が使われる。だから、今は非常に難しいことも簡単にでき、今は不可能なことも苦労すればできるようになる。
なぜAGIは何十年も先だとわかるのだろうか。AI研究所の責任者などが一般向けに書く記事では、たいてい主に次の三つの理由が挙がる。
(A) 筆者は、現在の技術でAGIを作る方法を知らない。どこから始めればいいかもわからない。
(B) 筆者は、現代のAI技術が成し遂げる印象的な成果を出すことは、本当にものすごく難しいと考えている。実現には、熱いGPU群の前で長時間働き、ハイパーパラメータを微調整し続けなければならない。世間の人は、現時点で何かを実現するのがどれほど難しいか理解せず、誰でもTensorflowを起動すれば自動運転車を作れると思って、早まって騒いでいる、と筆者は考えている。
(C) 筆者はAIシステムに接する時間が長く、だから、AIが今もどれほど愚かで常識に欠けるか、そのさまざまな面を身をもって理解できる。
論拠Aについてはいくつかの側面を検討した。今度は論拠Bを少し考えてみよう。
「N年以上前に研究者集団がニューラルネットワークでともかくも実現できたことなら、今ではコンピュータサイエンスの大学院生1人が1週間で何でもできる」と言ったとしよう。Nはいくつだろうか。
Twitterでこれについていくつか回答をもらった。回答者の専門的な経歴はわからないが、最も多かった答えは5で、自分自身の機械学習の知識に照らしても、そのくらいだと思う。（もちろん文字どおりの普遍命題としてではない。現実は決してそこまで整然としていない。）2012年の時点で、とにかく実現可能だったことなら、現代のGPU、Tensorflow、Xavier初期化、バッチ正規化、ReLU、そしてAdamやRMSprop、あるいは単にモメンタム付き確率的勾配降下法を使えば、おそらくかなり素直に実現できる。現代の手法は、それほど優れているのだ。確かに、それらの単純な方法だけでは今もできず、はるかに多くの作業を要することはある。しかし、それらは2012年にはそもそも実現不可能だった。
機械学習では、何かがともかくも実現できるようになったなら、未来のはるかに優れた道具でそれを簡単に実現できるようになるまで、おそらく長くても数年だ。この観点から見ると、「私たちのやっていることがどれだけ難しいか、あなたにはわかっていない」という論拠Bは、時期の議論に関しては、結論につながらない議論である。
このBの発言は、ラザフォードが1933年に核分裂から正味のエネルギーを得るなど「たわごと」だと言ったときと、同じ感情を表しているように聞こえる。1933年の核物理学者は、原子一つひとつに別の粒子をぶつけて、自分で分裂させなければならなかった。骨の折れる作業だった。原子から正味のエネルギーを取り出す話をされると、自分の苦労がわかってもらえず、仕事を簡単だと思われている、と感じたのかもしれない。
しかし当然ながら、本格的な最先端プロジェクトに携わるAI技術者にとっては、いつでもそれが実感になる。大学院生が1週間でできることに高給は支払われない（AIを何もわかっていない官僚的な組織で働いているのでなければ。ただしGoogleやFBはそうではない）。給料をもらって何か月も取り組む仕事は難しい、というのが、いつだってあなた個人の経験になる。だから、この実感が変わることを火災報知器にすることはできない。
賢明で冷静な懐疑派の科学者という役回りの人々も、抽象論としては、道具が進歩することに当然同意するだろう。しかし一般向けに書く記事では、今年の道具で作業する際の骨の折れる難しさしか語らない。そういうモードに入っているとき、彼らは5年後の道具がどうなっているか予測しようとすらしていないのだと思う。私が読んだ記事の中に、そのような議論は書かれていなかった。AGIは何十年も先だと言うとき、彼らは文字どおり、今の道具と知識でAGIを作るのにどれだけ時間がかかる気がするかを見積もっているのだと思う。だから、線形代数の山をかき回して良い答えを吐き出させるのがどれだけ難しいかを強調する。50年よりもずっと短い間に、その経験がどう変わりうるかなど、まるで想像していないのだと思う。現在の主観的な難しさの感覚で未来の技術の実現時期を見積もるバイアスを明示的に検討し、補正しようとしたのなら、その推論は私が読んだところには書かれていない。そうした予測方法が歴史上良い結果を出したという話も聞いたことがない。
第五に： ここは率直に言おう。AGIは遠い未来のことだ（あるいは、間近に迫っている）という議論の大部分は、機械学習の将来の進歩についてのモデルから生まれているのではないと思う。間違ったモデルを目にしているのではない。モデルがそもそもないのだと思う。
以前、ある会議で、AI界の著名人がずらりと並んだパネル討論があった。著名なAI研究者2人が黙ってほかの人にマイクを譲っていたほかは、ほとんどの登壇者がうなずき合い、もちろんAGIはまだはるか先だと同意していた。
私は質疑応答で立ち上がり、こう言った。「皆さん、進歩はそれほど速くないとおっしゃいましたね。では、もう少し具体的に、はっきりさせましょう。今後2年間には実現できないと強く確信している成果のうち、いちばん大したことのないものは何ですか。」
沈黙が流れた。
やがて登壇者の2人が、おそるおそる答えた。AGIは何十年も先だと断言していたときに比べ、ずっとためらいがちな口調だった。挙がったのは「食洗機から食器を取り出し、割らずに片づけるロボット」と、ウィノグラード・スキーマだった。後者の具体的な発言は、「ウィノグラード・スキーマは、最近の結果が50、60%台でしたが、今後2年では、どのような手法を使おうと80、90%には届かないと、かなり確信しています」というものだった。
この討論の数か月後、ウィノグラード・スキーマで予想外の大きな突破口が開けた。80%を超えたわけではないから、誤差の余裕を持たせた広い信用区間には万歳三唱だ。ただ、あと1年を残した今、あの予測をした人は少し落ち着かなくなっているかもしれない。（私が読んだ記憶のある成果とは違うと思うが、ロブは一例としてこの論文を見つけてきた。先ほどの会議から遅くとも44日後には投稿されたはずの論文で、70%に達している。）
しかし、それが要点ではない。要点は、質問の後に流れた沈黙と、結局2人からしか、しかもためらいがちな答えを得られなかったことだ。今後2年で実現不可能な具体的な成果を尋ねられて、そのとき初めて、登壇していた著名人たちは、機械学習の将来の進歩について頭の中にモデルを作り、何が予測できて何が予測できないのか、何を知っていて何を知らないのか、自問し始めたのだと思う。彼らの名誉のために言えば、そのほとんどは専門分野を十分に理解していた。急速に動く分野について、未来の到達限界を予測するのは実は本当に難しく、来月arXivに何が現れるかは誰にもわからない。24か月分のarXiv論文が出た後にどれほど進歩しているかには、上限を十分に高く取った幅広い信用区間が必要だと、わかっていたのである。
（それに、デミス・ハサビスがその場にいた。十分に不可能とはいえないものを挙げれば、デミスがDeepMindに実現させてしまうと、みんなわかっていたのだ。）
私の質問は、それまでのパネル討論とはまったく種類の違うものだった。頭を切り替える必要があった。集まった著名人たちは、機械学習の進歩について自分の中にある、粗く、ろくに形にもなっていない直観的なモデルに実際に照らし、今後2年という期間内に、その分野のモデルが確実に排除する未来の出来事があるとすれば何なのか、考えなければならなかった。つまり、AGIについての忌々しい熱狂を消し止めて、聴衆から予想どおりの拍手を得るために、社会的に好まれる言葉を発するのとは、違うことを求められたのである。
率直に言う。実現はずっと先だというあの自信満々の見解は、まったく考え抜かれていないと思う。さらに120か月分のarXiv論文が出た10年後に、何が不可能かを言い当てるという並外れた力を持つモデルなら、2年後にも不可能な、はるかに控えめな成果について言えるはずだ。そして、尋ねられて緊張した沈黙に陥るのではなく、そうした予測をすぐ取り出せるよう用意しておくべきだ。
実際には、2年先の問題は難しく、10年先の問題は笑ってしまうほど難しい。未来は一般に予測しにくい。急速に変化し進歩する科学技術の分野について、私たちの予測能力は実に弱く、何が実現できないかについて狭い信用区間を置けるようなものではない。
Graceら（2017）は、ICMLとNIPSの2015年の発表者352人を対象に、予測を調査した。回答を集約した予測では、「すべての職業を完全に自動化できる」という命題（「どの職業についても、その仕事を人間の労働者よりうまく、安くこなす機械を作れる」という意味で）が50%の確率に達するのは、121年後だった。ところが、無作為に選んだ一部の回答者には、「人の助けを借りない機械が、あらゆる課題を人間の労働者よりうまく、安く遂行できるのはいつか」という、少し違う質問をした。するとこちらでは、44年以内に実現する確率が50%とされた。
見積もれないものを見積もるよう人に求め、しかも、どんな発言が望ましいかについて社会的な空気があると、こうなるのだ。
AGIには火災報知器がないと言うとき、ドアの下から煙が出てくることに相当するものが、一切ありえないと言っているのではない。
言いたいのは、ドアの下の煙にはいつまでも議論の余地が残る、ということだ。それは、明確で、否定しようのない、絶対的な火事の兆候にはならない。だから、今こそ行動すべきで、行動しても社会的に受け入れられる、という共通知識を作り出す火災報知器は、決して鳴らない。
何かが実際にできるようになると、途端にAIとは呼ばれなくなる、という昔からの言い回しがある。AIに携わる人々のうち、広い意味で技術の加速を支持し、技術に熱狂的な人たち、いわばカーツワイル派（私はその一員ではない）は、それは不公平な評価であり、ゴールポストを動かしているのだと、ときどき怒る。
しかしこれは、AIの成果に不利な逆選択が働くという、現実に存在する重要な現象を見落としている。1974年にAIで何か印象的に聞こえることができたとすれば、それは、その課題が安上がりな抜け道で実現できるとわかったからであって、1974年のAI技術が驚くほど優れていたからではない。課題の遂行にどれほど認知的な労力が要るか、どれほど容易に抜け道を使えるかについて、私たちには不確実性がある。そして「印象的な」課題のうち最初に実現するのは、必要な労力について私たちの見積もりが最も外れていたものになる。コンピュータがチェス世界選手権で勝つにはAGIに向けた進歩が必要で、それがAGIの接近を示す兆候になる、と考えられていた時代があった。1997年にDeep Blueがカスパロフを破ったとき、ベイズ的な意味では、確かにAIの進歩について何かを学んだ。しかし同時に、チェスが容易であることについても学んだ。Deep Blueの構築に使われた手法を考えれば、学んだことの大部分は「汎用化しやすい手法を使わなくても、意外にチェスはできる」ということであって、「AGIに向けて驚くほど進歩した」ということではほとんどなかった。
AlphaGoはドアの下の煙だったのだろうか。10年以内にAGIが現れる兆候だったのだろうか。それ以前には、囲碁が「終わりが近づいたときに見られるもの」の例として挙げられていた。
AlphaGoの構成を説明する論文に目を通したとき、かなり限定的で場当たり的な方法でも囲碁が意外に容易に攻略できる、と主に学んだのではなく、利用できるAI手法が予想以上に汎用性へ近づけそうだ、と主に学んだのだと確かに感じた。もちろん、その手法を規模拡大すればAGIになるということではない。しかしAlphaGoは、Deep Blueとは違って、比較的汎用的な洞察と手法を、囲碁という個別の場合に向けて用いた成果に見えた。また私は、「人間の大脳皮質のアルゴリズムが持つ汎用的な学習能力は、思っていたほどすごくもなく、大量の勾配降下と途方もない数のGPUで再現するのがそれほど難しいわけでもない」と、かなり大きく見方を更新した。自然選択で高度に磨かれ、それでいて汎用的な、容易には追いつけないほど見事な大脳皮質のアルゴリズムが力を発揮すると期待される場面があるとすれば、人間が囲碁を打つ場面だったからだ。
似たような出来事を経験する地球を千個見ていれば、統計を集めて、コンピュータがその惑星の囲碁選手権で勝つことは、10年後のAGIを確実に告げる前兆だとわかるかもしれない。しかし、実際には私はそれを知らない。あなたも知らない。過去に何度もそうだったように、今回わかったのも、厳密に限定的な技術で囲碁を実現するのは予想より簡単だったということだけだ、と誰でも公に主張できるのは確かだ。AGIそのものより前には、これが確実に深刻な火災であり、AGIまであと10年、5年、2年なのだとわかるような兆候、ドアの下から出る煙は存在しえない。まして、ほかの全員もそう信じるとわかるような兆候はない。
いずれにせよ、機械学習の有力な科学者たちは、何を火災報知器と見なすか、その基準をすでに記事で発表している。汎用人工知能が間近だと彼らが信じるのは、次のようなときだ。
(A) 今持っている道具でAGIを作る方法が、自分自身に見えたとき。AGIは近いかもしれないと考える人の愚かさを非難するとき、彼らがいつも、現状はそうではないと言っているのはこれだ。
(B) 自分の仕事で、何もかも難しいと感じなくなったとき。これは、AGIは近いかもしれないと思う無知な一般人にはない重要な知識なのだ、と彼らはわざわざ力説する。一般人がそんなことを信じるのは、敵対的生成ネットワークを安定させようとして夜中の2時まで起きていた経験がないからだという。
(C) 人間と比べたAIの賢さに、自分にはまだ魔法じみて見える側面で、とても感心したとき。作り方を知ってしまい、もう魔法に見えない側面についてではない。つまり、やり取りや会話をするとAIがかなり賢く見えるとき。つまり、AIがすでに本物のAGIになっているときだ。
だから、火災報知器はない。それだけのことだ。
終わりが来る前に、落ち着かない気持ちで周りを見渡して、「AGIは間近だと話してもいい」ということが、今や明らかに共通知識になったと確かめられる時点は、決して来ない。愚かだとか、おびえているとか思われる心配をせずに行動し、整然と建物を出ていける時点は来ないのだ。
現時点で見積もれる限りでは、AlphaGoや、警告射撃かもしれないしそうではないかもしれない出来事をいくつか経験し、機械学習に注がれる労力の爆発的な増加と、膨大な論文の洪水を目にした今、私たちはおそらく、終わりのごく間近まで、現在の認識状態にとどまるだろう。
ほぼ最後までこの程度の認識状態にとどまるだろうと言っても、AGIが間近だとわかっているとか、それまでの間にAIで重要な新しい突破口が開かれることはない、と言っているのではない。AGIにはあといくつの洞察が必要なのか、それに到達するまでどれほどかかるのかを見当づけるのが難しい、ということだ。次の突破口が開かれても、その後いくつ突破口が必要なのかはわからず、認識状態は以前とほとんど変わらない。今後どんな発見や節目を迎えても、あといくつの洞察が必要かを推し量ることはおそらく難しいままで、実現時期も同じように不透明なままだろう。研究者の熱意と資金がさらに増し、実現までの時間が短くなりつつあると言えるかもしれない。あるいは、再びAIの冬が訪れ、そうならなかった場合より長くかかる兆候だとわかるかもしれない。それでも、どれだけ長くかかるかはわからない。
ある時点でarXiv論文が突然あふれ出し、本当に興味深く、根本的で、恐ろしい認知上の課題が、ますます速いペースで解かれているように見えるかもしれない。その流れが加速するにつれ、自分を冷静な懐疑派だと思っている人の中にも、不安のあまり、「ひょっとすると、もしかしたら、AGIまではもう15年しかないのかもしれない」とまで言い出す人が出るかもしれない。終わりの直前には兆候があまりにも露骨になり、「AGIは10年先かもしれない」と言っても社会的に許されると思い始めるかもしれない。ただし、その兆候はよほど露骨でなければならない。自分の知識と自分の苦労をもとにAGIまでの時間を見積もる著名人が作る社会的な壁と、誇大宣伝に起因するAIの冬をめぐる歴史的なしこりを、乗り越えなければならないからだ。
それでも、最後の数年、あるいは数か月になって、AGIは15年先だと言っても社会的に受け入れられるようになったとしても、意見の不一致は残ると思う。連想記憶や、人間並みの小脳的な運動協調（あるいは何であれ）が解決済みの問題になったとしても、AGIの作り方はまだわからないと異議を唱える人はいるだろう。コンピュータサイエンスの論文を書くAIも、人間と本当に筋の通った会話をするAIも存在しないと指摘し、それがもう実現できるとわかっているかのように語る人々の、無分別な危機のあおり方を非難するだろう。今のシステムを動かすのにどれほど苦労と調整が要るか、愚かな素人にはわからないのだと説明するだろう。（もっとも、そのころの手法なら2017年に可能だったほぼすべてのことは簡単にでき、大学院生なら誰でも、Tensorflow 5.3.1のtf.unsupervisedモジュールで、一度で安定したGANを動かす方法を知っているのだが。）
すべてのピースがそろい、配置も済んで、世界全体の知識と創造性の頂点にいる人々が組み上げる最後の一片だけが残ったときにも、平均的な機械学習関係者には、AGIは遠くにそびえる巨大な課題に見えるだろう。自分自身はまだAGIシステムの作り方を知らないからだ。主要なAI研究組織の名声ある責任者たちは、地球上の全生命と、それが将来実現しえたすべての価値の完全な破壊を心配する愚かさを嘆く記事を、相変わらず書いているだろう。そして、融資審査システムがうっかり人間の偏見を取り込むといった、現実的で、真面目に取り上げるに値する懸念から、こうした話に気をそらされてはならないと言うだろう。
もちろん、未来を細部まで予測するのはとても難しい。あまりに難しいので、私は自分にはできないと認めるだけでなく、ほかの誰にもできないという、はるかに強い断定もする。「画期的なarXiv論文が洪水のように出る」というシナリオは、ひょっとするとありうる展開の一つだが、具体性を持たせるために私がでっち上げた、実現するとは考えにくいほど細かなシナリオだ。地球に似たほかの文明がAGIを開発するところを豊富に観察した経験に基づくものでは、断じてない。「広島までは、マンハッタン計画の外から見える兆候はほとんどない」という展開には、かなりの確率を置いている。そのシナリオは単純だからだ。それより複雑なものは、すべてが真実になるとは考えにくい予測の重荷となる細部を詰め込んだ物語が、もう一つ増えるにすぎない。
しかし、細部がどう展開するにせよ、非常に大まかな意味では、実際に稼働しているAGI以外に火災報知器はないと予測する。それ以前に、誰もが知り、同意する明白な兆候が現れ、心配するには早すぎるのではないかと不安にならずに行動できるようにはならない。飛行や原子力工学のような、はるかに単純な事例でさえ、技術史は普通そのようには展開しなかった。まして今回は、あらゆる兆候とモデルが争われている。この話題にまつわる不確実性と議論の質の低さについては、もう十分にわかっている。AGIが現れる10年前、5年前、2年前に、議論の余地がなく社会に受け入れられた兆候は現れない、と自信を持って言える程度には。社会全体がパニックに陥るとしても、それは偶然であり、ひどい推論に基づき、実際の実現時期とはまったくの偶然以外に相関がなく、ハリウッド映画に触発され、比較的ささいな危険に向けられるだろう。
そのような火災報知器が具体的に何なのか、それによって残り時間がどれだけだとわかるのか、どのプロジェクトをその時点になって初めて始めるべきなのか、説得力のある説明をした人がいないのは、偶然ではない。誰かがそういう提案を書いても、次に書く人はまったく違うことを言うだろう。そしておそらく、そのどちらも、実現時期について何か予言めいた知識を持っているとか、(a)取り組む価値があり、かつ(b)今すぐ取り組み始める価値はない、というまともなアプローチを見つけたのだと、私を納得させることはできないだろう。
漠然としていて、具体的に何なのかまったく定まっていない未来の警報が鳴るまで、あらゆる行動を先送りするという決定には、「失敗継続の法則」が適用されるほど大きな無謀さがあると思う。
失敗継続の法則とは、こういうことだ。すべての銀行口座や信用取引の申し込みに、平文の9桁の数字をパスワードとして使うほど無能な国なら、次に1億件のパスワードが流出する大惨事が起きても、それを受けて軌道修正できるほど有能ではない。そのような刺激に応じて軌道修正し、望ましい対応ができるほど有能な文明なら、そもそもその間違いを犯さない程度には有能だ。システムが能力の限界ぎりぎりで微妙な失敗をするのではなく、大々的で明白な失敗をしている場合、次の刺激が来たところで、急に賢明に動き出すことはない。
失敗継続の法則は、強大なシステムや地位の高い人々のように、けなすことに気後れする相手を考える際に、とりわけ重要だ。「今は欠点があるけれど、将来何かきっかけがあれば、すべてがぴたりとはまり、うまくいく」と言いたくなるかもしれないからだ。そのような淡い期待を実際に持ってよいシステムは、重要なことの大半をすでに正しく行い、認知の一、二段階でだけ失敗しているように見える。個人や組織、政府、社会の一部をなす仕組みが、現時点で大きく失敗している場合、その淡い期待に根拠があることはほとんどない。
30年後に宇宙人が着陸する見込みを無視するには、すでにかなりの愚かさが要る。その時点で、議論のほかの欠陥に驚く理由もない。
今、それらがすべて同時にうまくいっていないのなら、宇宙人はもしかすると5年後に着陸するのかもしれない、という不確かな兆候を受け取っても、同じシステムとインセンティブから正しい答えは出てこない、と予測すべきだ。真の問題は自動運転車のセキュリティだと言って、実存的リスクについての議論を脱線させようとすることに意味があると思うほど、既存の権威が同時にさまざまな失敗を重ねているなら、今後も愚かなことを言い続けると予想するのが基本になる。失敗継続の法則は、そう示唆している。
一度に多数の間違いを犯す人は、普通、その間違った考えすべてに、頭の中で無意識に「間違い」という札を付けているわけではない。動機が生まれたとしても、突然切り替わって、すべて正しい推論手順を巧みに実行できるわけではない。確かに、金銭的インセンティブが過信や政治的バイアスを減らせると示す実験はいろいろある。しかし、(a)それは減少であって除去ではない。(b)極めて明確で短期的かつ直接的なインセンティブであって、「重大なものが懸かっている」という曖昧で政治化されうるインセンティブではない。(c)「複雑な正しい推論を実行する」状態にまでスイッチが切り替わるという意味ではない。そもそも複雑な正しい推論を可能にするスイッチが誰かの脳にあるなら、その脳には、後になってからではなく今から、おおむね正しいことを考えられるだけの精度と技能が備わっている。少なくとも、間違っていれば自分が死ぬとわかっている結論を検討するときに、多少慎重になり、再確認もする程度には。
人々が突然目を覚まし、物事を一貫して正しく行い始めるような兆候や前兆はない。越えればそうなる閾値もない。何らかの兆候にそれほど有能に対応できる人なら、まして、完全に確実でも全員の合意を得ているわけでもないが、警鐘である可能性が高い証拠にそう対応できる人なら、おそらくすでに、未来と現在を結びつけて考えている。将来の兆候が現れるところをすでに想像し、それに先回りして、早いうちからまともなことを考えているのだ。スチュアート・ラッセルが「宇宙人が30年後に着陸するとわかっているなら、それは今でも大問題だ」と言うように。
今のMIRIが資金にあえいでいた初期のころ、私はあることを学んだ。昨年寄付した人は今年も寄付する可能性が高く、昨年「来年」寄付しようと思っていた人は、今年もまた「来年」寄付しようと思っていることがとても多かった。もちろん、実際にゼロから一へ移る例はあった。起きることにはすべて最初の一度が必要だ。「後で」と言い、長い間何も寄付しないことが、戦略として本当に賢明だった大学生もいた。その後、よい仕事に就いて寄付を始めた人たちだ。しかし同時に、「後で」と口にすることは、安易で手軽な慰めの多くと同じように、癖になるのだとも、よく学んだ。そしてこのぜいたくは、貧しい人だけでなく裕福な人にも許されている。
AGIアラインメントの研究でも、事情は変わらないと思う。アラインメント問題について、つかめる限りの理解を得ようとしている人は、翌年には、前年につかんだことを少し、あるいは大きく前進させているだろう（もちろん、その間に分野全体で起きた進歩も加わる）。AIとAGIの理解がもっと進むまで先送りしたい人は、翌年のAIとAGIの進歩を経た後も、将来もっと理解が進むまで研究を先送りしたいと思うだろう。
アラインメントを本当に実現したいと望んでいる人たちは、そのために今、頭を絞っている。強化学習器のようなものに、感覚的な報酬項ではなく、因果的な環境モデルの特定の要素に関する効用関数を確実に特定させるにはどうすればよいか、あるいは、更新後の服従・非服従が一見同語反復に陥る問題を克服するにはどうすればよいか、と。別のことに取り組みたい人たちは、今日できる仕事は何一つないと宣言する。その宣言の前に2時間、静かに考えてみることはしない。そしてこれは明日になっても変わらない。もしかしたら、明日の朝、興味深い新聞の見出しを目にすれば変わるのかもしれないが、おそらくそのときでさえ変わらない。「後で」と言うぜいたくが許されるのは、本当に選択肢に乏しい人だけではない。
やがて私は、大学にいる効果的利他主義者にこう言うようになった。「将来、寄付のために稼ぐつもりなら、今は3か月に一度、5ドルくらいを寄付しよう。そして、2回続けてまったく同じ額を寄付したり、同じ団体に寄付したりしないこと。支援先の課題や寄付額を定期的に見直す、という思考の習慣を練習するためだ。いつも『後で』と言うだけの思考習慣を、身に付けてはいけない。」
同様に、誰かがAGIアラインメントに「後で」本当に取り組むつもりなら、半年ごとに2時間ほどかけて、現時点で考えつく最善のAGIアラインメントの構想を作り、その構想について有益な作業をしてほしい、と言うだろう。どうしても必要なら、今の技術に似た技術でAGIが何らかの形で実現した、と仮定してもよい。そして、その「今のところ最善だが、まだ不十分な構想」を公開する。少なくともFacebookに投稿する程度には。そうすれば、実際に2時間かけて、まずい案の中でも最善のものを考えようとしたとは思えない案を挙げることに、恥ずかしさを覚えるようになる。
AIについて今後理解が深まることはあるし、特定の研究アプローチがAGIにも関係するという確信を強めるようなことを学ぶかもしれない。ニック・ボストロムが『スーパーインテリジェンス』を出版し、イーロン・マスクがそれについてツイートしてオーバートンの窓に石を投げつけて風穴を開けたような社会的変化が、今後もあるかもしれない。あるいはスチュアート・ラッセルのような、さらに信頼される著名人が、公然と賛同するようになるかもしれない。将来にもAlphaGoのような出来事があり、機械学習技術の基礎の新たな進歩を、公私にわたって浮き彫りにするだろう。そして、どういうわけか、それによって、AlphaGoやGANなどをすでに見た今とは異なる認識状態に移るのかもしれない。そういうこともありうる！ 具体的にどうなるかは見えないが、その点で未来には驚きをもたらす力がある。
しかし、その驚きを待つ前に、AGIの実現時期について感じている不確実性が、本当に不確実性なのかを自問すべきだ。N年後までにAGIが実現する確率は50%かもしれないという見積もりでは、行動するための知識として足りないと感じるなら、それが怖いほど不確かに思えて、何かを決める前にもっと証拠を待ちたいなら、こう想像してみてほしい。あなたはN年以内の確率を50%だと信じている。地球上のほかの全員も、N年以内の確率は50%だと信じている。そして全員が、AGIがN年以内に50%の確率で実現する場合には、方針Pを実行するのが正しく適切だと信じている。そのときどう感じるだろうか。その想像で感覚が大きく変わるなら、Pを実行することに感じる不安な「不確かさ」は、本当はAGIの実現にN年よりずっと長くかかるかどうかに関するものではない。
そしてAGIがどれほど近づいても、ほぼ間違いなく、その「不確かさ」の感覚から抜け出せないだろう。どれほど近づいても、どんな兆候が現れようと、それによって、AGIはN年以内に50%の確率で現れるという、誰もが共有し合意した公の共通知識が生まれることは、ほぼ間違いなくないからだ。だからPを実行して対応するのが正しく適切だ、という合意も生まれない。
仮にそれらがすべて共通知識になったなら、その時点でもPがなお顧みられない介入策であったり、AIアラインメントが顧みられない課題であったりする可能性は低い。そうなれば、残念なほど遅くなるまで、支援せずに待っていたことになる。
しかし、はるかにありそうなのは、その共通知識はいつまでも生まれず、行動を考えると、いつでも不安な「不確かさ」を感じるということだ。
それでも行動するか、しないかだ。行動しない場合、よくても、大した助けにはなれないほど手遅れになるまで何もしない。普通なら、実質的にすべてが終わるまで、まったく行動しない。
どんなものかもわからない認識上の奇跡が起きて、感じ方を変えてくれるのを待つのは、賢明ではないと思う。十中八九、あなたはしばらくこの精神状態にとどまる。不安を伴う「不確かさ」の感覚も含めてだ。この状態に「後で」と言って対処するなら、その一般的な方針が地球によい結果をもたらすとは思えない。
さらに読むための資料：
- MIRIの研究ガイドと研究フォーラム
- FLIの入門資料集
- CHAIのアラインメント文献一覧：http://humancompatible.ai/bibliography
- 80,000 HoursのAI関連求人：https://80000hours.org/job-board/
- Open Philanthropy ProjectのAIフェローシップと、一般向けの研究提案募集
- AIアラインメントについて、私が頭の中の考えを書き出したもの
- 初めてここを訪れた方には、私が長年取り組んできた合理性についての著作と、CFARのワークショップ
- AIアラインメントを支援対象として検討している効果的利他主義者に向けた、レイ・アーノルドによる一般的な助言