― 1988年 ―
ハンス・モラヴェック(Hans Moravec)： 我が著書 Mind Children を見よ。その中で私は、2010年頃に強いAIを実現すると予測している。「汎用人工知能(Artificial General Intelligence)」とは呼んでいない。その言葉が作られるのは、まだ15年ほど先だからだ。
エリーザー(Eliezer)（実際にこう発言した記録があるわけではない。この筋書きで本物のエリーザーは8歳だからである。このエリーザーには2021年のエリーザーが持つメタ・ヒューリスティクスがすべてあるが、そのエリーザーの時代錯誤的な知識は何もない）： 本当ですか？ 未来についての予測は正しく行うのが難しいことで有名ですから、それは正しく当てるのがとても難しい予測に聞こえます。
架空のモラヴェック： それは完全に一般的な反論に聞こえるね。
エリーザー： ええ、実際、これは 未来論に対する 完全に一般的な反論です。想像もつかないほど遠い未来――つまり2、3年以上先、ときにはそれ未満――をうまく予測するのは、概して人間がかなり不得手とすることのようです。
モラヴェック： 今日から4年後の1992年、太陽は東から昇ると私は予測する。
エリーザー： 分かりました。では条件を付けましょう。太陽がついに食べられる日まで毎朝昇り続けるという話ではなく、何か一つでも 新しく不慣れな ものを予測しなければならないとき、人間は未来予測がかなり下手なようです。新しい何かを妥当に予測することが、いつでも不可能だと言っているのではありません！ 仮に不可能だとしても、どうして 私 にそれが確実だと分かるでしょう？ 自分がその種の予測をできないという個人的な無能力から外挿してでしょうか？ 単に私自身が下手なだけかもしれません。しかし、遠い未来の何らかの新しい一面を予測できると誰かが主張するたび、その人には当然、事前の大きな懐疑を乗り越える責任があります。
より広く言えば、優れた未来学者が未来について全般に優れた見取り図を示してくれるとは期待すべきではありません。偉大な未来学者には、未来はあまり予測できないという通常の規則の、なぜか 例外 となるような、未来の ごくまれな限定的側面 をいくつか見つけ出すことを期待すべきです。
たとえば、いつかは 汎用人工知能(AGI)が現れるという点では、あなたに同意します。これは、かつて起きたことのない新しい物事についてでありながら、未来についてまれに予測可能な事実に思えます。私たちはこの問題を解こうとし続け、ゆっくりとはいえ進歩している。人間の脳が解いている以上、原理的には解ける問題のはずであり、やがて解かれる。これは論理的必然ではありませんが、賭けるなら間違いなくそちらです。「いつかAGI」は予測できますが、たとえば今まさに台頭中の日本という国が今後数十年で経済的覇権を握るということは予測 できません――こちらも1988年現在の語り手たちが話題にしているものですが。
しかし、新たな発展の 時期 を正しく当てることは？ それ ができることは、事態が2年後に迫るまではほとんどなく、しばしば2年後になってさえできません。核兵器の登場は予言されていましたが、1945年に登場するとは予言されませんでした。空気より重い飛行機械の飛行は予言されていましたが、1903年の飛行は予言されませんでした。どちらの場合も、その2年前には実現に50年かかると言った人がいた一方で、数十年も早く、まもなく実現すると言った人がいました。いつか深刻な世界的パンデミックが起きるかもしれないと心配すること、いつか研究所事故が世界的パンデミックにつながるかもしれないと心配すること、そして2019年11月に世界的パンデミックが始まると予測することには違いがあります。
モラヴェック： 友よ、私が多大な労力を注いだ本を読んでくれたまえ。とりわけ――君のような者には予測不可能に聞こえるかもしれないが――私は、単一チップと最強のスーパーコンピュータの計算能力が時とともにどう変わったかを示すグラフを注意深く調べた。このグラフには驚くほど規則性がある！ もちろん、あらゆる傾向が永遠に続くわけではない。しかし、ムーアの法則が崩れるという議論を検討した結果、説得力がないと判断した。私の本は何章もかけて、このグラフが 崩れず 継続すると予想できる具体的な理由と技術を論じている。したがって人類は、2010年頃までに、毎秒10兆回の演算を行えるスーパーコンピュータを 手にする ことになる。*
それから私の本は一章を割いて、脳のうち計算を最も詳しく理解している部位である網膜を論じ、人間の脳が使っている計算能力を推定して、毎秒10^13回という値に達している。この神経科学とコンピュータ科学は一般読者には少し難しいかもしれないが、私は実際、ロボット工学とコンピュータビジョンの現場経験を積んだ実務家なのだ。
したがって、分かるとおり、強いAIが初めて現れるのは2010年頃のはずだ。どれかの数値で一桁間違っているかもしれない。しかし二つの誤差が同じ方向に重なっていたとしても、推定は7年ほどずれるだけだ。
(*) この部分について、モラヴェックはほぼぴたりと当てた。実際の年は2008年だった。
エリーザー： 実際に2010年頃に強いAIが 現れた なら、きっと面白いでしょうね。この仮想的な対話の時点で 私 に分かる限り、それは十分起こり得ます！ 結局のところ、愚かさを反転させても知性にはなりません。2010年と予測する根拠が完全に壊れているからといって、実際にそうならないという意味ではありません。
モラヴェック： ほう。それでは、私の推論がどう間違っていたのか教えてくれるかね？
エリーザー： そもそも未来を予測するのがこれほど難しい理由の一つは、私たちが欲しがる答えが、複数の段階と複数の入力を持つ因果の連鎖によって生み出されがちだからです。未来を生み出すうえで 何らかの役割を果たす 一つの事実を推測できても――それ自体はそれほど珍しくありません――語り手が欲しがる答えは通常、その一つより 多くの事実 に依存します。ほかの事実のどれか一つを知らないだけで、推論の連鎖全体が台無しになり得ます。単なる可能性の話としてではなく、実際に そうなるのです。未来論が不可能だという原則の例外を見つける技とは、具体的な筋書きへの具体的な入力のほとんどを何も知らないのに予測できる、まれな物事を見つけることだと言えるでしょう。設計も、誰が、どう作るかも分からないのに、AGIが いつか 現れると予測するようなものです。
ムーアの法則についての文献に私が加えた貢献は、「マッドサイエンスのムーアの法則」です。「18か月ごとに、地球を破壊するのに必要な最低IQは1ポイント下がる」。この真面目な冗談が絶対に真の法則で、異星人が絶対に真だと教えてくれたとしても、それだけから地球がいつ破壊されるかを予測する能力は、私たちにはまったくありません。現在または将来のどの時点でも、その最低IQがいくつなのかまったく分からないからです。地球の破壊が毎年容易になり続けるとは一般に分かるため、地球には対処すべき深刻な問題があると一般には分かるでしょう。しかし、危機がすでに目の前にあると分かるだけの具体的情報を目にするまでは、それが いつ 差し迫った緊急事態になるのかを特定できません。
あなたの2010年の強いAI予測については、次のように表せるでしょう。AGIの時期は三つの要因の積とみなせます。そのうち一つは既存のグラフから外挿を試みられますが、残る二つはまったく分かりません。どれか一つを知らないだけで、予測全体を無効にするには十分です。
三つの要因とは次のものです。
- 時間の経過に伴う計算能力の利用可能性。これは数値化できるかもしれず、グラフ上では安定して見える。
- 時間の経過に伴う認知科学とアルゴリズムの知識の進歩率。こちらは数値化がはるかに難しい。
- 認知についての特定の知識水準を変数として、AGIの構築に必要な計算能力を返す、潜在的な背景パラメータとなる関数。これについてはほとんど何も分からない。
言い換えましょう。あなたとあなたの文明がAIの作り方をどれほど知っているか――認知とコンピュータ科学をどれほど知っているか――によって、AIの構築に必要な計算能力は変わります。たとえば本当にやり方を分かっているなら、人間の脳が有効活用している毎秒浮動小数点演算数より 少ない 演算量で、少なくとも人間の心と同等に強力な心を構築できる、と私は確信を持って予測します――
クリス・ハンバリ(Chris Humbali)： 待って、いま「確信を持って」と言ったか？ どうして それ を確信を持って知り得るんだ？ 自信過剰だとモラヴェックを批判しておきながら、その次の瞬間には向き直って自分の何かには確信を持つなんて、どうしてできる？ それじゃ、とんでもない偽善者じゃないか？
エリーザー： ええと、あなたは誰でしたっけ？
ハンバリ： 君が前に書いた「英雄の免許」についての対話に出てきたパット・モデスト(Pat Modesto)のいとこだ！ 「Modesto」はコンピュータ画面上では不運にも「Moravec」に似ているし、ファーストネームもちょっとポール(Paul)に似ていて、こちらにも言及する意図はないから、パット本人はここに来ていない。だから今日は 私 が、正しい較正、知的謙虚さ、外部視点、参照クラス予測の真の旗手となろう――
エリーザー： 私の意見では、そのうち二つは残り二つと同類ではありません。また私の意見では、ハンバリもモデストも、その四つのどれも正しく扱う方法を理解していません。しかし「英雄の免許」を読んだ人なら、私がそう考えていることはもう知っているでしょう。
ハンバリ： ――それに、未来論の難しさについてあれだけ謙虚に語った後で、人間の脳より「少ない計算能力」を使って人間の心と「同等に強力な」心を構築できると、エリーザーがどうしてそれほど 確信 できるのか、私にはまるで分からない。
エリーザー： 複数の推論経路が、独立に同じ結論を支えているからです。まず、たとえば、人間の脳は 直列的な 意味では非常に遅く動作し、大規模な並列処理でそれを補おうとしている、と指摘できます。毎秒1000回の直列演算を使って毎秒1000回の並列演算をエミュレートすることはできますが、その逆は一般には成り立たない。これはコンピュータ科学の明白な真理です。
別の言い方をしましょう。100Hzで動作するコンピュータ上で表計算ソフトやワープロを作らなければならないなら、何か一つを実行できるだけのキャッシュ参照を行うため、10億個の処理コアと大規模な並列処理も必要になるかもしれません。しかし、それは実行している計算作業が 本質的に そこまで高価だという意味ではありません。現代のチップは脳のニューロンより直列方向に圧倒的に高速であり、変換の向きは非対称です。だから、大規模並列の神経的構成では実行に途方もない費用がかかるが、直列処理のステップならはるかに安く実行できる課題があると予想すべきです。そして、その逆は対称には 成り立ちません。
十分に熟達した構築者なら、毎秒100回だけを順番に並べる場合と比べ、毎秒10億回の演算を順番に並べることを許された場合、毎秒の総演算回数をより少なくして汎用知能を構築できます。私はこれに「可能性が非常に高い」とも「ほぼ確実」とも但し書きを付けません。明晰な思考者なら単に明白なものとして受け入れ、先へ進むべき種類の命題です。
ハンバリ： では、ニューロンが順番に実行できる直列ステップは100回だけだというのは確実なのか？ 君の言うとおり、一つの事実を知らないだけで、ほかのどれほど多くの知識も無に帰し得る。
エリーザー： 典型的なニューロンを可能な限り速く発火させても、毎秒おそらく200スパイクです。たとえばコウモリが反響定位に使う、ごくまれな種類のニューロンは毎秒1000スパイクに達しますが、圧倒的多数のニューロンは、どの時点でもそこまで速く発火してはいません。神経科学で通例の決まり文句となっている法則――私よりあなたのほうが一層尊重しそうな、学術的に立派な信念――は「100ステップ則」と呼ばれます。人間の脳（または哺乳類の脳）が知覚の時間尺度で実行できるどんな課題も、計算の 直列 ステップ100回以内、つまり順番に計算される物事100個以内で実行できなければならない、というものです。計算が個々のスパイクではなく発火頻度にもとづいて動いているなら、さらに少ないかもしれません。
モラヴェック： そうだ。そうした考慮も、人間の脳について毎秒10^13回という私の推定を合理的だと擁護する理由の一部だ。たとえばすべてのシナプスを数え、どれか一つのニューロンが出せる毎秒スパイク数の最大値を掛ける人が考えるより、合理的な値である。網膜が実際に何をどう計算しているかを見れば、シナプス一つ当たりの活性化スパイク一回ごとに浮動小数点演算を一回しているようには見えない。
エリーザー： 精密な計算演算が、ノイズのある、または不精密な計算演算をエミュレートするほうが、その逆より圧倒的に容易だという点にも、似た非対称性があります。たとえばニューロンを使って正確な16ビット整数加算を計算する方法は間違いなくあり、人間が頭の中で16986+11398を足すよりは 効率的 でしょう。しかし、シナプスはノイズが多く、トランジスタなら単に正確に実行できるので、なおトランジスタより多くのシナプスが必要でしょう。並列と直列の違いより視覚化しづらく、理解しづらいことですが、重要でないわけではありません。
ここから、同じ結論――人間の脳より計算効率のはるかに高いAGIを構築することは原理上可能である――へ収束する、非常に明白に思える第二の推論経路に至ります。つまり、生物は単純に そこまで効率的ではない。とりわけ、比較的最近になって始めた、巨大で複雑なことについてはそうです。
ATP合成酵素は熱力学的効率が100%に近いかもしれませんが、ATP合成酵素は文字どおり15億年以上の歴史を持ち、あらゆる生物代謝の中心的なボトルネックです。脳は、軸索と樹状突起の各区間の内外へ何千個ものイオンを出し入れし、再び高速な神経スパイクを発火できる状態へ戻さなければなりません。その結果、脳の計算効率は、その温度における熱力学的限界より約50万倍低い。つまりATP合成酵素の約200万分の1しか効率的ではありません。そしてニューロンは、汎用知能のための生物学的ソフトウェアよりも、とんでもなく古いのです！
人間の脳のソフトウェアは、理論上の最大値に比べて100%効率的にはならないし、10%にも、1%にもならないでしょう。並列対直列、精密対不精密、または同様に明白な低水準の違いに関する話を考慮する 前でさえ そうです。
ハンバリ： ああ！ だがここで、君自身はこれまで一度も考えたことがないだろうと思う考慮を提示させてほしい。すなわち――もし君が間違っていたら？ ほら、もうそんなに自信満々ではないだろう？
エリーザー： 人は、人間として認知的に生きていく中で、どの種類の「もし」が考えるに値するか、自分が間違っているという代替可能性に備えるため、限られた資源をどこへ使うのが賢いかを観察します。そして私は、多くの人が……「もし」をうまく使う方法を、どうもあまり理解していないようだと、しばしば観察してきました。たとえばこう言うのです。「では、もしUFOが異星人で、異星人は私たちから部分的には隠れているが完全には隠れていないとしたら？ 自分たちを観測可能にしながら、決して直接やり取りしなければ、より高い地位に見えるからだとしたら？」
そのような個々の「もし」は具体的な反論で退けられますが、それらを反駁すべきだと私に分からせる中心的な生成器を、どう伝えればよいのか分かりません。私が具体的な反論を持って現れるのを受動的に待たせるのではなく、人々が自分でこうした考えを退けられるようにするには、どうすればよいのか分かりません。今になって物事へ一つ一つ具体的に反論しなければならないのは、決して終わらない道のように思えます。私はかつてほど若くありませんし、自分がどれほど進歩できているかを見ても、勇気づけられません。一つの突飛な考えを具体的な反論で退けると、ほとんどまったく同じ主題について、新しい突飛な考えを別の誰かが持ってきます。
こういうことを言ってもうまくいかない可能性が高いとは分かっていますが、それでも言ってみましょう。「もし」と言って回っているとき、あなたの現実についての地図と、きわめて狭く安定した現実の領域との間には、非常に大きな違いがあります。携帯電話を落とせば、重力が下へ引き、落下します。もし異星人がいて、代わりに携帯電話を宙へ持ち上げたら？ あなたが確信を持てる例としてこの規則を使おうとした直後に破れば、特に面白がるからかもしれない。あなたを見ている異星人を想像し、その愉快さを想像し、人間の思考がいかにもろく、どんな物事もほとんど確信できず、自信過剰であるべきでないかを熟考する。それから携帯電話を落とし、落下するのを見る。これであなたは、現実そのものは「もし」と謙虚であろうと自分に言い聞かせることからできているのではなく、心より強固な軌道上を走っている、ということを一つ学びました。
もちろん、これを熟考しても、その軌道を 知っている ことにはなりません。それこそ、過去より未来の予測がはるかに難しい理由です。しかし、自分の思考がなお「もし」の周囲を荒々しくばたついているのが見えたなら、それはある意味で思考が固まっておらず、まだ現実に結びついていないことを意味します。現実には「もし」性を結合する受容体がないからです。
正しい対応は、反駁方法を思いつけない「もし」に従って行動することではなく、それより狭い予測をするモデルを探し続けることです。その探索が失敗したなら、特定の「もし」へ逸れる代わりに、エントロピーの高い不確実性へ、もう少し数値的な分布を置くモデルを鍛造します。そして後者の場合、その確率分布が客観的な頻度についての知識ではなく、自分の無知と主観的な心の状態を反映することを理解してください。そうすれば、別の誰かがあなたほど無知でなくても、その人に「自信過剰だ！」と叫ばずに済みます。現実は数学と同じくらい強固な軌道上を走ります。ある領域では、あなたより先に、自分の思考をさらに集中した確率の川へ流すという偉業を成し遂げる人もいるのです。
さて、現実の軌道へより近い、深く狭い川へ思考を集中させようとするとき、もちろん、現実を 排除する 誤った狭い水路へ思考を集中させるという、語り継がれる危険があります。そしてもちろん、この状態を示す伝説的な大徴候とは、モデルを反証する現実からの反例です！ しかし一般に、自分より狭い川へ確率を集中させようとしている人を批判すべきではありません。それは、さらに狭い真の軌道上を走る現実を把握しようとする、大いなる一般的企ての現れだからです。
自分の確率を、別の人とは 異なる 狭い水路へ集中させているなら、もちろん、より興味深い論争になります。そして、重ならない二つのモデルが異なる予測をする、実施可能な実験的検証を見つけようとする、あの伝説的な活動に取り組むべきです。
ハンバリ： この、どことなく神秘めいた話の意味が分からない。
エリーザー： 私が、生物が有効に使うことのできた計算能力より少ない計算能力を使って、人間と同等の心を構築できると強く確信していると言い、あなたが「どうしてそんなに 確信 できる？ もし 間違っていたら」と言ったとき、私が「なあ君、これは、自分が間違っているかもしれない突拍子もない仕方について、特に心配することが重要な場面には見えない」と答えても不合理でない理由を説明しようとしているのです。学ぶことを志す人なら誰でも、どの種類の推測が現実の生活で「ああ、間違えた」となりやすく、どの種類の推測がそのままうまくいきやすいかを、生涯をかけて学びます。学びの少ない心は、学びの多い心より多くの場所で、自分には反駁できない「もし」に満ちています。あなた自身には、そのすべてをどう反駁するか分からなくても、より多くを学んだ心には、それらの可能性が低い理由が分かっているかもしれません。可能性と蓋然性は区別しなければならないからです。
人間の脳がきわめて洗練されたアルゴリズムを持つため、計算効率の絶対的限界に達しているか、その限界から10%以内で動いていることは、想像 または 構想 できます。しかし、現実が「してやったり！」と叫ぶ主権を通常 どこで 行使するのか、どの前提が面前で爆発して最終結論を無効にしがちなのかを見極めるのに十分な時間を費やしたなら、「ああ、しかし脳がほぼ100%計算効率的だったら？」という「もし」は、考える価値があまりない種類のものだと推測できます。現実には実際そうではないからです。現実は、それとは別の仕方であなたの予想を裏切るでしょう。
つまり、神経科学と進化生物学を十分に読んでおらず、その命題が途方もなくありそうになく、ばかげて聞こえることを自分の知識から見抜けないのかもしれません。しかし、生物学についてより多くを学んだ別の誰かが、あなたより強く確信する正当な理由を持つことは、まったくありそうにないとは言えないはずです。携帯電話は上へ落ちません。現実は、自分がその秩序を知らない場所でさえ、本当に多くの点で非常に安定し、秩序立っています。
しかし、「もし異星人が空飛ぶ円盤に乗って姿を見せているのは、高い地位が欲しくて、ときどき観測できるが私たちとは決して話そうとしないほうが高い地位を得られるからだとしたら？」がまったくもっともらしく聞こえ、どうして誰かがそれは真でないと それほど確信 できるのか分からないなら――だって、ああ 大変だ、もし 間違っていて、異星人を 見た ことがないなら、彼らが何を考えて いない とどうして 知り 得るだろう――その考えを確信を持って退けられる場所へ、どう導けばよいのか分かりません。それには、人にどう与えればよいかまるで分からない種類の人生経験が必要なのかもしれません。まして、私が書いた文章を受動的に読ませることで与える方法など分かりません。どの「もし」に実質的な力があるかについて、学習された知覚的感覚です。つまり、その特定の筋書きを反駁することはできますし、学習された感覚を言葉に することはできます。しかし、あなた自身が反駁方法を学ばない限り、それが私の役に立つのか分かりません。
ハンバリ： そういうメタな話は全部脇へ置き、対象レベルへ戻れないか？
エリーザー： そうするのが賢いことは確かによくあります。
ハンバリ： では、汎用知能の最低計算要件が、人間の脳についてのモラヴェックの議論より 高く なり得る仕方を一つ挙げよう。結局、汎用知能がそもそも可能だという存在証明は、人間の脳ただ一つしかない。脳を神経伝達物質一つ一つまでシミュレートしなければ、コンピュータ上で汎用知能を得る方法はないのかもしれない。その場合、脳を流れる潜在的スパイク数の計算から得るより、毎秒 はるかに多くの 演算が必要になる！ もしそれが真なら？ どうして 分かる？
（現代人： これは明白な藁人形論法に見えるけれど？ つまり、より古い時代であっても、実際にこんな議論をする人がいるだろうか――
モラヴェックとエリーザー： いるとも。）
エリーザー： 特に 人間をアップロード しようとしていたなら、神経伝達物質の流れをさらに詳細にシミュレートせずに、得られたシミュレーションを走らせ、良い答えを得る、容易で単純で明白な方法がない可能性は想像できます。
しかし、シミュレートされる流れの一つ一つが 汎用知能に有効活用されており、より少ない計算を使うよう心の設計を単純化する方法がない と想像することは……それを個別に反駁しようと思えばできるでしょうが、反駁を生む生成器そのものを伝えられない限り、終わりのない道に思えます。あなたの「もし」性は十分遠くへ投げ出されています。もし、それほどの拒絶すら読者が自分で解く練習問題として残せず、私が手を引いてやらなければならないなら、読者にはこの先の話についていく望みがほとんどありません。あなたと憤慨を分かち合いながら今ここで去り、これ以上の憤りから身を守ってもらいましょう。
もちろん読者は、この正確な領域について私より 知らない ので、私より 明白ではない と感じるでしょう。あなたを具体的に反駁するには、私より読者のほうに 多くの 作業が正当に必要になります。しかし、後に出てくる、もっと難しい議論についていくには、この例で読者にそもそもそれを行う力が必要だと思います。
架空のモラヴェック： 私の結論を一桁変えるとは思わないが、たとえば長期増強の変化を実装するために、ニューロン内で起きるタンパク質発現の変化も知能にとって重要であり、脳が実際に有効活用する計算コストの中で大きな比重を占め得る、と心配する人はいるだろう。神経伝達物質の分子を一つ残らずシミュレートしなければならない可能性を退けたのと同じように、それも退けるのか興味がある。
エリーザー： ああ、もちろん退けません。あちこちを走る脱分極インパルスと比べて、見落としていた長期増強が突然重要だと判明するのは、現実がときどき飛び出してきて「してやったり！」と叫ぶ まさに その種のことです。
ハンバリ： どうすれば違いが分かる？
エリーザー： 現実が私自身や歴史上の人々に「してやったり！」と叫んできた事例を経験してきたからです。
ハンバリ： どちらの推測も同じくらいもっともらしく思える！
エリーザー： 本当ですか？ 「長期増強が重要で計算上も大きな意味を持つとしたら」は、「脳が汎用知能の実装で計算を可能な限り効率よく使う壁にすでに近く、神経伝達物質の分子が一つ残らず重要だとしたら」と同じくらいもっともらしく聞こえるのですか？
ハンバリ： そうだ！ どちらも偽だとは分からない「もし」であり、否定するときに自信過剰であるべきではない！
エリーザー： 私の小さく弱い死すべき心は現実から遠く離れ、ごく緩い相関的相互作用によってしか結びついていませんが、現実から そこまで 遊離してはいません。
モラヴェック： 現実には、長期増強は十分に遅く局所的なので、数分または数時間かけてニューロンの細胞体内部で起きることは、数ミリ秒または数秒のうちに脳内を閃く、その何千倍ものスパイクほど計算上重要ではない、と私は推測する。だから自分の推定では、これを大きく扱わなかった。
エリーザー： ええ。しかしこれは、「してやったり！ そこで小さなDNA活性化相互作用が高速に起きていて、実際にはかなり高コストで重要だった！」という、現実が執筆した科学記事の見出しを目にして目覚める、そういう種類のことには ずっと近い。このまさにその出来事の可能性が非常に高いと言っているのではなく、現実が私に そのような 何かを言っても、現実の性格から外れてはいないと言っているのです。それに対して、現実が「してやったり！ 脳は、どんなアルゴリズムにも可能な限り、汎用知能エンジンとして計算効率的だ！」などと言えば、本当に心底奇妙でしょう。
モラヴェック： この部分については意見が一致していると思う。1988年に実際この対話をしていたなら、一致していただろう。つまり、私は 実際に 有能な研究ロボット学者であり、現実から完全に遊離したままそうなるのは難しい。
エリーザー： では、2010年に強いAIという予測と、「人間の脳は毎秒10兆回程度の演算を行う」から「毎秒10兆回のスーパーコンピュータを作れば強いAIが手に入る」への巨大な脈絡のない飛躍は、いったい何なのですか？
モラヴェック： 実際には一桁ずれることもあるフェルミ推定の類だとはいえ、何というか、三桁もずれるようには思えないからだ。それに、三桁ずれてもムーアの法則で10年にすぎない。2020年に強いAIというのも、大胆で重要な予測だ。
エリーザー： 2000年に強いAIなら、なおさらです。
モラヴェック： はは！ 普通は、私に反論する人が向かう方向ではないな。
エリーザー： 人々が普通あなたに反論する方向と、現実が「してやったり！」と叫ぶことを許される方向には、重要な違いがあります。あらゆる知識分野ごとに、大量の領域固有のアルゴリズム調整をせずとも、AIアーキテクチャがどれほど一般化し、規模を拡大できそうかについてロビン・ハンソン(Robin Hanson)と論争したとき、未来の私はこのことをもっと心に留めていればよかった。つまり原理上、私が論じていたのは性能についてのさまざまな下限でしたが、それが 下限 なのだと、もっと声高に強調できたはずです――いや、下限だとは 強調していた のですが――AlphaGo、Alpha Zero、GPT-2、GPT-3が登場したときの自分の気持ちからすると、私自身もどこかで忘れていたに違いありません。
モラヴェック： ともかく、最大で三桁ずれるかもしれないとして、2000～2020年と幅を持たせれば、私の予測に同意するかね？
エリーザー： いいえ、あなたはただ……間違った事実について議論しており、それは今の私が知る限り、現実がたどり得るほとんどの軌道から遊離しているように見えます。私の見方では、AGIの創出は、その方法についてどれほど知識があるかに強く依存するので、人間生物学からの議論の関連性は、ほぼ 完全に 失われます。
たとえば人間生物学から分かるのは、私たちとは非常に異質な方法を使う生物進化が汎用知能を構築するために必要とする計算能力についての、あまり役に立たない単一のデータ点です。それとはまったく別に、私たちの文明が認知科学、神経科学、コンピュータ科学について持つ知識水準があり、こちらは絶えず変わっています。その変化するグラフ上の どの 水準についても、AGIにどれほどの計算能力が必要かは分かりませんし、生物学も教えてくれません。分かるのは、AIを作る知識は時とともに増える一方なので、AGIのハードウェア要件は年々下がっているはずだということだけです。
ある時点で、「必要ハードウェアの減少」と「利用可能ハードウェアの増加」という動く二本の線が交差します。したがって、いつか AGIが構築されるとは予測できます。しかし、その日付を予測するために必要な二つの重要な関数を、どうグラフ化すればよいかは分かりません。あなたは、よく見える街灯の下で鍵を探すという古典的誤謬を犯しているように見えます。網膜が有効に使う浮動小数点演算の毎秒回数を推定する方法は知っている。しかし、欲しい結果を予測するために必要なのは、この数ではありません。必要なのは、時間の経過に伴う人間のコンピュータ科学知識のグラフと、どれほどのコンピュータ科学知識があれば、どれほどのハードウェアでAIを構築できるかというグラフです。そのどちらも手に入りません。
ムーアの法則の継続や網膜の計算を、あなたの本が何章使って検討しているかは 関係ありません。論証に費やしたすべての努力の関連性をただ退けることが、ある意味で無礼に見えるなら申し訳ありません。しかし、結論に到達するために 間違った事実 を論じているので、あなたの努力はすべて無駄なのです。
ハンバリ： 今度は、モラヴェックの議論をあまりに軽く退けていると君を叱らなければならないようだ。よろしい、モラヴェックは、最高性能のスーパーコンピュータが人間の脳の毎秒10兆回に匹敵する時点で強いAIが必ず登場するということを、論理的確実性 をもって確立してはいない。しかし彼は 参照クラス を確立したのではないか？ 君とは違い、善良で有徳な超予測者が未来の結果について推定を アンカー しようとするときに探すような 基準率 だ。最高性能のスーパーコンピュータが毎秒 1000万 回の演算しかできないなら、それ以前にAGIを得る可能性はあまり高くなく、毎秒 1000京 回の演算*ができるなら、すでにAGIを得て いない 可能性は低い、という類の議論を、実際に確立したのではないか？
(*) 2021年の言い方なら、TPU v4 pod 10基。
エリーザー： それほど幅が広ければ、偶然その中に当たる可能性は上がり、面白みは減ります。しかし、この思考経路全体が的外れだという考えは変わりません。そしてハンバリ、あなたは有徳な超予測者という概念も、彼らが参照クラスと基準率をどう探すかも、本当には理解していません。
ハンバリ： 率直に言って、徳に欠けているのは君だと思う。AGIが別の年に、または大きく異なる経路で到来すると主張する、AGIについての特殊なモデルを持っているのかもしれない。しかしモラヴェックの推定は一種の基準率ではないのか？ 自分自身のモデルについて適切かつ有徳に不確実である限り、AIタイムラインについての自分の確率分布を、そこへ向けて 回帰 させるべきではないか？ 必要となる正確な知識量や、いつどのような知識を持つかについて不確実さが増すほど、AGI到来時期について、モラヴェックの基準率予測である2010年を中心とする不確実な分布を持つべきではないか？
君がこのアンカーを拒絶するのは、深刻な謙虚さの欠如を示しているように見える。その基準率を丸ごと捨てるには、どんな別の推定法を使っているにせよ、非常に強く確信していなければならないからだ。
エリーザー： 先ほど言ったように、あなたは有徳な超予測者の真の道を理解できていないのだと思います。モラヴェックのいわゆる「基準率」についてたくさん考えると、ある意味であなたは愚かになります。そこから思考を解き放ち、もっと野生的で飼いならされていない可能性の空間を進もうとしなければなりません。やがてそれが凝固し、より狭い確率の流れへまとまり始めるまでです。AGIについては、AGIにかなり近づき、AGIがどう構築されるかを正しく推測し始めるまで、たぶんそうは なりません。いつか世界的パンデミックが起きると予測するほうが、2019年11月に始まると言うより容易だからです。2019年10月の時点でさえ、それはできません。
ハンバリ： では、有徳なベイズ主義者になるつもりなら、この不確実性はどうにか数値化されなければならない。そしてやはり、ほかに良いものがない以上、得られる分布はモラヴェックの基準率推定である2010年を中心にすべきだ。
エリーザー： いいえ、その計算はここでは基本的に無関係です。道なき荒野であなたの心が錨のない空気をつかもうとばたつく中、それについて考えることであなたは愚かになっています。一つの物事を見て別の物事の基準率を得るには、ある意味で、二つが「十分似て」いなければなりません。人間がAGIを作ることは、生物進化が人間の脳を作ることとあまりに異なるので、「実現時点での計算能力」を一方から他方へアンカーすることはできません。私たちが探しているドロイドではないのです。それを「基準率」と有徳に呼ぶことについて、逃れられない認識論的な罠を築こうとしても、それは「道」ではありません。
架空のモラヴェック： ここでまた割って入らせてもらえるなら、私の計算が証拠としてゼロだとは思わない。進化生物学から分かるのは、先見性がまったくない盲目の異星の神が、偶然の変異でチンパンジーの脳を汎用知能へ変えたということだ。生物学の仕事をあまり悪く言いたくはない。網膜には見事なものがあり、網膜はある意味、脳の中で最も理解しやすい部位にすぎない。しかし、毎秒10兆回程度の演算は、生物進化が必要とした計算量だという、きわめて合理的な議論は確かにある。そして進化は愚かだから、私たち自身がそれだけの計算能力を持てば、構成方法を解明するのは そこまで 難しくないはずだ。
エリーザー： それが真なら、同じ理論は、現在のスーパーコンピュータがクモの敏捷性と視覚にもっと近い働きをしているはずだとも予測します。ある時点で十分なハードウェアが手に入り、それをAGIに組み上げる方法を解明したとき、私たちは人間より少ないハードウェアで実現しているかもしれないし、より多いハードウェアで実現しているかもしれません。この二つの可能性が おおむね同じ確率 だとすら言えないので、確率分布の中央値を2010年頃に置くこともできません。あなたの数値は、あまりに悪い方法で得られたあまりに悪い数値なので、思考から捨ててやり直すべきです。
ハンバリ： 最後の推論は特にばかげているように思える。なぜか それ以上に不確実だ と自信満々に主張するため、唯一の基準率を捨てているだけではないか。
エリーザー： まあ、率直に言って申し訳ありませんが、ハンバリ、あなたはまだ、自分の計算能力を知能へ変換する方法を解明できていません。
― 1999年 ―
本稿の以前の草稿を読むルーク・ミュールハウザー(Luke Muehlhauser)（ルーク・ミュールハウザーなので、実際の口調はこれよりずっと真面目）： ほら、AIタイムラインについて自分でもいくつか予測をした、ある10代の未来学者がいたでしょう――
エリーザー： それを実例として議論するのは、本当は避けたいのです。自分で何かをしくじっておいて、ほかの誰も自分以上には有能になれないかのように論じる人が嫌いです。22歳で何かについて考えを変え、その後の生涯ずっと、いまや「とても成熟した真面目な大人」が信じることを信じる「とても成熟した真面目な大人」になったかのように振る舞い、自分が22歳から信じ始めたその物事に反対する人へ、君は長引いた子ども時代を卒業するまで待つ必要があるだけだと言う人は、さらに嫌いです。
ルーク・ミュールハウザー（引き続き意訳されている）： どういう形であれ、認めておくべきことのように思えます。
エリーザー： それはもっともです。ええ、関係があると思う人がいても分かります。ただし、無謀な若さにもとづく議論を、こっそり忍び込ませようとしているように見えかねないのが嫌なのです。私はその議論を無効だと思うだけでなく、信じられないほど不快だとも思っています。自分でしくじったことを、ほかの誰にもより良くできないという議論に使うことはできません。
ハンバリ： ええと、ここで当てこすっている実際の騒動は何なんだ？
エリーザー： ある10代の未来学者が、たとえば1999年にこう言いました。「Seed AIによる超越について最も現実的な推定は2020年、ナノ戦争は2015年より前だ」。
ハンバリ： この若者は、きっと人格の深い欠陥に取りつかれている。その種の欠陥は、最もまれな場合を除けば人が真に克服することなどほとんどないのではないかと心配だ。何しろ、自分の狂った予言に確率分布すら置いていない。人はここまで露骨にばかげられるものなのか？
エリーザー： 歴史を知らない子どもよ、あなたの苦情はあまりに時代錯誤です。ここで話しているのは1999年です。物事に確率分布を置く人はほとんどおらず、後世のあなたのサブカルチャーにあるその要素は、まだ導入されていません。2002年のエリーザーは、エミル・ギリアム(Emil Gilliam)から『不確実性下の判断』をまだ送ってもらっていません。2006年のエリーザーは、「グローバルリスクの判断に影響し得る認知バイアス」の草稿をまだオンラインに載せていません。「シークエンス」が始まるのは、さらにその1年後です。1999年の 効果的利他主義の先駆者たちが、予測に確率分布を置くことをどうして知っているでしょう？ 私はまだ彼らにそうするよう教えていないのです！ 歴史上の人物が周囲から予想されるより、どういうわけかうまくやったように見えるなら、その点は評価できます。彼らを現代の基準に照らしたり、19歳までにその現代的基準の洗練を終えているよう期待したりするのは不合理です。
ただし、この若者にはなお前途があったことについて、より微妙な教訓も学べます。見せかけの威厳を意図的に軽蔑していたため、少なくともある程度、その前途を保てたのです。そのおかげで、恥をかく見込みを避けようと自分をねじ曲げることなく、自分でも気づくほど、平明に、単純に間違えられました。たとえば、基本的に同じ悪い思考過程が生んだ同じ中央値を中心に、威厳に満ちて幅広い「とても真面目な」確率分布を置き、これほど明白な反証を逃れるようなことはしませんでした。
しかし、これを書き上げようとしたとき、あまりに大きな脱線になりました。いつか別の記事として投稿するかもしれません。
― 2004年頃 ―
2001年のレイ・カーツワイル(Ray Kurzweil)： 人間の脳の知能に匹敵するには、毎秒2 * 10^16回の演算*が必要であり、これは2023年に1000ドルのコンピュータで利用可能になると私は計算した。その26年後の2049年には、1000ドルのコンピュータが人間の脳の100億倍の計算能力を持つ。そして2059年には、そのコンピュータの価格は1セントになる。
(*) TPU v4 pod 2基。
2004年頃の講演でカーツワイルが同じことを言ったとき、質疑応答における現実のエリーザー： 「人間同等」のAIが登場すると予測したうえで、その時点を越えて30年間、ムーアの法則が同じ軌道上を続くと期待するのは、私には奇妙に思えます。あなたの用語でいう人間同等のAIを手に入れたら、知能そのものはそれ以上にならなくても、ムーアの法則がAIを高速化し始めます。AIが私たちの数千倍の速さで考えるようになれば、地球が太陽を一周する客観的な実時間について、ムーアの法則のグラフを壊す傾向が生じないでしょうか？ AIは新しい計算技術の研究に、主観時間で数千年を費やせるのですから。
現実のレイ・カーツワイル： AIがより高速に研究できるという事実こそ、ムーアの法則が軌道上を進み続けられる理由です。
現実のエリーザー（声に出して）： 質問に答えていただき、ありがとうございます。
現実のエリーザー（心の中で）： ムーアの法則は、人間の認知と、人間文明が人間の認知で動いているという事実が生み出す現象だ。その基礎にある深い因果的現象が変化し始めた後も、表面的な現象が変わらず続くとは期待できない。グラフこそ一次的な現象であり、その根底の力が大きく変化しても、グラフは安定して変わらず続くと人に考えさせるのは、いったいどんな奇妙なグラフ崇拝だろう？ 本の中より本人のほうがまともであることを期待していたが、まあ仕方ない。
― 2006年頃 ―
インターネット上の誰か： 進化が人間の脳を進化させるために使ったコンピュータ演算数を計算した。脳の大きさが増えていく生物を探索した計算であり、現生人類が現れる前のあらゆる脳が行った全計算を足し合わせた。合計10^43回のコンピュータ演算になる。* AGIは近いうちには来ない！
(*) 正確な数値は忘れた。10^40何がしかだった。
ため息をつくエリーザー： 今日もまた、生物学に着想を得たタイムライン予測です。この手品はモラヴェックが試したときにうまくいかず、レイ・カーツワイルが試している間もうまくいかず、あなたが試してもうまくいきません。ある10代の若者が試したときにもうまくいきませんでしたが、その部分は完全に無視してください。少なくとも、あなたは彼よりうまくやって構いません。
架空の誰か： モラヴェックの予測が失敗したのは、人間の脳とほぼ同じ量のハードウェアを魔法のように持ってきて、ぽん、と置けば、脳と同じくらい知的になり始めると仮定したからだ――
エリーザー： ええ、それはあの議論の無効性を見る一つの方法です。ただし、モラヴェックが「魔法のように出現する」としか論じられず、「人間の技術者は生物進化と比べてそこまで無能ではないので、一、二桁を超える追加オーバーヘッドなしに、おそらく解明するだろう」という、一見もっともらしい議論はできなかったと想像するなら、彼に不当な扱いをしています。
誰か： しかし 私 はもっと賢い。生物学的知能を一度作った後で 走らせる ために必要なコンピュータ演算数だけでなく、それを 創り出し設計する ために使われたコンピュータ演算数を計算したからだ！
エリーザー： それでも、あなたの推論には「生物学的」という言葉が含まれているので、モラヴェックの元の予測と同じくらい無効で役に立ちません。
誰か： モラヴェックが間違っていたことを根拠に、私のタイムラインについての生物学的議論を退ける理由が分からない。彼は一つの基本的な誤りを犯した。知能を走らせる費用だけを考え、知能を生み出す費用を考慮に入れなかったのだ。私はその誤りを修正した。だから、生物学に着想を得たタイムライン予測を行う私自身の試みは、いまや問題なく機能するはずであり、新たなものとして それ自体の長所にもとづいて評価されなければならない。
エリーザー： 確かに、推論経路が誤っているのは一か所だけで、それを直せば問題なく機能することはあります。それが真であるため、新しい議論が新しいものとして提示されているなら、それ自体の長所にもとづいて再評価するのが実際に賢明なことも多い。別の議論が過去に一つや三つ失敗したことを取り上げ、逃れられない鉄球のように新しい議論の脚へ鎖でつなぐことはできません。それは覆し得る懐疑の理由にはなっても、打ち勝てない懐疑の理由にはなりません。
とはいえ、私の見方では、あなたはモラヴェックとほとんど同じ誤りを犯しています。したがって、あなたが現実とうまく結びつく種類の思考を行っているかという問いに、彼の失敗はなお関係します。
誰か： その誤りは、ただ「生物学」という言葉に触れたことなのか？
エリーザー： 問題は、資源の消費方法が異なるため、資源消費からの基準率の議論が現実にはまったく役立たなくなること です。人間の脳は約20ワットの電力を消費します。それによって、AGIは約20ワットを消費するはずであり、コンピュータへ約20ワットの電力を供給できるところまで技術が進めばAGIを得る、と結論できますか？
誰か： もちろん、それはばかげている。では何か、私の議論をばかげた議論と比較して、それで退けるのか？
エリーザー： モラヴェックの「同等の資源消費からの議論」は、一般に無効でなければならない、と言っているのです。それは証明しすぎるからです。同等の資源消費について推論するのが一般に妥当なら、計算消費から推論するのと同じくらい、エネルギー消費から推論するのも妥当であり、こちらを中央値推定の基礎に選べるはずです。
AIは脳とは大きく異なる方法でエネルギーを消費する、と言うのですか？ では、計算も脳とは大きく異なる方法で消費するでしょう！ 二つの場合の唯一の違いは、あなたが、人間はどう食物を食べ、胃で分解し、樹状突起と軸索の外へイオンを汲み出すためニューロンに消費されるATPへ変えるかについて 何かを知っている 一方で、コンピュータチップは、トランジスタによって流れを遮断して情報を伝える電気を消費すると知っていることです。AGIと人間がどうエネルギーを消費するかを 何であれ知っている ため、その消費方法が比較を完全に無意味にするほど大きく異なると 分かる のです。
あなたは脳がどう計算を消費するかを 知りません。最初に構築されるAGIがどう計算を消費するかも 知りません。しかし「未知の鍵が未知の錠を開けるわけではない」のであり、この二つの無知な分布の内部に大きな相関があると主張すべきではありません。
脳と未来のAGIが計算演算をどう消費するか、具体的には知らなくても、何も知らない代わりに 何か 具体的なことを知ったなら、どちら向きに信念を更新するかを抽象的に推論できるはずです。両方の種類の実体が計算をどう消費するかを知り、人間の脳の具体的機構とAGIの具体的機構を知ったなら、両者間の途方もなく巨大で具体的な違いを目にし、「うわあ、予測に使おうとするには、何と無益な資源消費比較だ」と言えるでしょう。
（もっとも、私はあまり期待せずにこう言っています。ある対象について何も知らない代わりに何かを知ったなら、自分が行うはずの、予測可能で方向性のある更新について人へ話しても、あまりうまくいったことがありません。多くの人には抽象的すぎて腑に落ちないのか何かなのだろうと思います。そのため脳は結局それを無視し、先へ進みます。私は、ある物事についてさらに学び、信念を更新してから、「うわあ、ほとんど どんな 具体的事実を学んでも、自分の意見が同じ方向へ動くことは、振り返れば予測できたはずだ」と思った人生経験があります。しかし、これは普通の経験ではないのではないかと心配しています。それには本当の発見経験が必要であり、一般化を得るには、一度より複数回あるのが望ましいからです。）
誰か： そのすべては、私の新しく異なる議論とは無関係に思える。私は一つの脳が消費する資源を愚かにも推定しているのではない。脳を 発明する ため生物進化が消費した資源を推定しているのだ！
エリーザー： そして、自分の脳を酷使して新しいAIプログラムのアーキテクチャを発明し、そのAIアーキテクチャを配備して自ら学習させる人間は、進化と まったく異なる 仕方で計算を消費するので、それらの資源消費を比べる意味はありません。これこそ、あなたがモラヴェックとまったく同じく共有する欠陥であり、私が二人へ同じことを言う理由です。「これは現実に結びつくことに失敗する思考の一種であり、現実の生活では機能しない」。生物進化が実行した10^43回の計算という推定へ、どれほど丹念な作業を注いだかは気にしません。それは単に関係のある事実ではないのです。
ハンバリ： だが、この累積10^43回という推定は、少なくとも我々の推定をアンカーする基準率の確立に――
エリーザー： ああ、まったく、黙ってください。少なくとも「誰か」は対象レベルで間違っているだけで、自分の考えが反論された後さえ、永遠の悪臭のように空中へ残らなければならないという、逃れられない認識論的な罠を作ろうとはしていません。「でも俺の基準率が」は、モラヴェックの2010年という推定がまだもっともらしく見えた頃、あなたの観点なら同じく言ったはずのことではありませんか？
ハンバリ： いまでは若さゆえの熱意が誤っていたことは、もちろん明らかだ。明らかに、私は間違った数値を推定しようとした。「誰か」の議論どおり、人間の知能を 設計する ために使われた生物学的計算を推定すべきであり、それを 走らせる ための計算を推定すべきではなかった。
自分が基準率に間違った数値を使い、そのため基準率が途方もなく誤っていて、無関係ですらあったことが、いま分かった。しかしそれを理解し、以前の推論にあった明らかな誤りを見つけたいま、私には 新しい 基準率がある。これも以前と同種の、途方もなく無効化する巨大な誤りを含んでいる可能性が明らかに高いとは思えない。現実がまた私に「してやったり！」と叫ぶとでもいうのか？ そして、どちらの可能な方向にも同じ確率で起こる未知の新しい誤りという見込みがあっても、それが含意するのは、10^43回を中央値の中心に保ちながら信用区間を広げるべきだということだけだ――
エリーザー： どうかやめてください。この手品はまったく、決してうまくいきません。受け入れて、乗り越えてください。10^43という数値へ注意を向ける一秒ごとに、あなたは愚かになります。最初の汎用知能計算機が消費するエネルギー量の基準率は20ワットだと推論しても、同じことです。
― 2020年 ―
OpenPhil： 私たちは、AGIタイムラインを予測する目的で、汎用人工知能を実現するためにどれほどの計算が必要になるかについて、生物学に着想を得た推定を行う「とても真面目な」報告書を委託しました。（報告書の要約。）（報告書の完全な草稿。) 私たちの指導部はこの報告書を「とても真剣に」受け止めています。
エリーザー： ああ、こんにちは、新入りの子たち。おじいちゃんはもう、ちょっと疲れていて、若い頃ほど元気に、またこの論争をすることはできません。
架空のOpenPhil： 私たちより そこまで 年上ではないでしょう。
エリーザー： 生物学的な実時間ではそうかもしれませんが――
OpenPhil： 私たちの数千倍の速さで考えるのですか？
エリーザー： あなた方が言わなければ、私も言うつもりはありませんでした。
OpenPhil： その主張は偽なので、異議を申し立てます。
エリーザー： 実は、私がこの果てしない戦場をどれほど長く歩いてきたか、あなた方は過小評価しているかもしれないと言おうとしていました。私が 本当にかなり若く 始めたからです。
確かに、Mind Children が1988年に出たときには読みませんでした。読んだのはわずか4年後、12歳のときです。そして確かに、その直後からムーアの法則と強いAIについてオンラインで書き始めたわけではありません。すぐに自分の一斉射撃や突撃で戦争へ加わったのでもなく、まだ論争で注目される声ではありませんでした。それを始めたのは、16歳のときにすぎません。1999年には無謀な無名の10代だったと言えればよいのですが、実際には「シンギュラリティ」についての厳粛なオンライン討論会へすでに招かれ、紙の本にも名前が出ていました。当時間違っていたとき、私はすでにその話題について、未成年の公的知識人という立場で間違っていたのです。
一般人の流儀についての私の理解では、これは比較的若いということであり、おそらく生物学的年齢へ10歳を足す価値があります。本稿を書いている私を、42歳ではなく52歳で、それに見合って白髪も目立つ、と想像してください。
数年後――とはいえ、まだあなた方の時代より前――には、Accelerating Change Foundationがあり、レイ・カーツワイルは文字どおり何百万ドルも使って、技術進歩を示すムーアの法則のグラフを、未来についての 中心的な 物語として推しました。OpenPhilには数百万ドルなどはした金に聞こえるでしょうが、自分の年間予算が10万ドルほどなら、とんでもない拡声器を相手に競うことになります。
もし今、未来とは、さまざまな技術産業におけるきれいに測定可能な進歩指標を、空飛ぶ車、宇宙旅行、寿命延長の脱出速度、そのほか同程度に興味深い良い物事を必然的に届けるムーアの諸法則という不変のグラフ上で外挿したもの 以外 でもあり得る、と概念化できるなら、それは少なくとも部分的には、数年前に戦われ、私が主要な戦士だった戦いのおかげです。あなた方がいま当然だと思っている概念的雰囲気を、私が作ったのです。そこでは、AI能力が閾値へ達することは、興味深く変革的になり得るものと考えられます。新しい技術的ぜいたく品の節目が、ほかの点では不変なムーアの諸法則のグラフ上で、一つずつチェックされるだけとは考えません。私は自分をあなた方のおじいちゃんと呼ぶ権利を、少なくとも 少し は獲得しています。
そしてこの種の経験には、ある意味で複利がつきます。何かを自分で生き、そこへ参加すれば、それについて別の歴史を読むことでさらに多くを学べます。自分の戦いを経験した後では、歴史がより現実味を帯びます。タイムラインの誤りを自分自身で生き抜いたという事実のおかげで、その時代に身を置き、人々が「とても真面目な」誤った予測を誠実に論じるのを見るとは、実際にどう感じられるかが分かります。その経験のおかげで、私の生まれる前の、より古い誤ったタイムラインの歴史を材料に、本当の意味で信念を更新できます。現実から切り離され、実在の人々には起きていない架空の小説のように歴史を読むだけではなくなるのです。
そして実際いま、あなた方のような報告書をまた一つ、注意を集中して全文読むには、少し年を取り、疲れたと感じています。ひょっとすると、いまから30年後くらいにAGIが登場すると書いてありますか？
OpenPhil： 私たちの報告書は、問題をさまざまな角度から分析し、それぞれが異なる推定へどう至るかを示しているため、中央値の両側に非常に広い信用区間があります――
エリーザー： 地球上で最も賢い人々の実効IQを推測する五つの異なる方法を考え出し、より小さいシステムを破壊する最低IQを推定して地球全体を破壊する最低IQへ外挿する方法を三つ考え、そうした数値すべての周囲に広い信用区間を置き、確率分布を組み合わせ、混ぜ合わせて新しい確率分布を得るということの困った点は、そのすべての果てに、なお大量のでたらめが残ることです。根本的に間違ったことを複数の異なる方法で行っても、救いにはなりません。もっとも、賭けを十分広く散らせば、どれか一つが偶然当たることはあるでしょう。
では、報告書はひょっとすると――どれほど多くの但し書きや、どれほど精巧な確率的方法と代替分析があろうと――AGIはおそらく今から30年くらい後に登場すると書いていますか？
OpenPhil： はい。実際、2020年の私たちの報告書の中央値推定は2050年です。ただし繰り返しますが、両側に非常に広い信用区間があります。この数値に何か意味があるのですか？
エリーザー： チャールズ・プラット(Charles Platt)が一般化した法則があります。どんなAI予測も、予測した時点から30年後に強いAIを置く、というものです。ヴァーナー・ヴィンジ(Vernor Vinge)は、有名な1993年のNASA講演本文でそれに言及しました。講演の要旨は、こう始まります。「30年以内に、私たちは超人的知能を生み出す技術的手段を持つ。そのすぐ後、人間の時代は終わるだろう」。
自分自身がタイムラインについてもっと懐疑的になれる年齢に達してから、ヴィンジが「30年以内」の部分をどう引き出したのか、よく考えました。当時は理解できなかったのかもしれませんが、今日もう一度読み直してみると、ヴィンジは講演の後半で明示的に引用している、そうした予測は常に作られた時点から30年後になるというチャールズ・プラットの一般化へ、意図的に自嘲して言及するため、見出しの数値として30年を選んだのではないかと推測します。
別の言い方をすれば、強いAIについて以前に行われたいくつかの予測をすでに知っていた当時の聴衆にとって、要旨は「30年後に強いAIと予測するどころではなく、30年後に 超知能 と予測すべきであり、そちらのほうがはるかに重要だ」という衝撃を与える意図だったのではないかと推測します。しかし、著者本人が考えていたことを明示的に教えてくれない限り、その心は未来に劣らず知り難い。だからヴィンジ教授に尋ね、当時考えていたことを覚えているよう願う必要があります。
OpenPhil： 2023年より前に超知能ですか。反証されるまで、ヴィンジにはあと2年残っているということですね。
エリーザー： 講演本文でヴィンジは、「この出来事が2005年より前、または2030年より後に起きれば、私は驚くだろう」とも言っています。こちらは、推定を表現する方法として、より真面目で分別があるように聞こえます。ヴィンジの1993年の予測として私たちが考えるものについては、プラットに着想を得た可能性が高い見出しの数値より、こちらを優先すべきだと思います。ヴィンジが見事に当てたことになるかどうか、評決はまだ出ていません。
それから、おじいちゃんが、あなた方の生まれる前の時代からのこうした歴史ばかり話して退屈させていたら、ごめんなさい。実際、ヴィンジの有名なNASA講演が行われたとき、私は13歳だったので出席していませんが、後から確かに読みました。デジタル化されてオンラインに載ると、インターネット中に広がりました。まあ、インターネットの特定の領域中には。ワールドワイドウェブが初期採用者の間で普及し始めた頃は、そうしたオタク的な領域が全体に占める割合は、ずっと大きかったのです。
しかし、ええ、ムーアの法則のグラフと生物学についての計算をいくつか携え、報告書の時点から30年後に強いAIと真摯に推定する新入りが現れることには、ええと、その……歴史的前例があります。
OpenPhil： チャールズ・プラットの一般化については興味深いですが、私たちが、プラットの予測では人々が一貫して誤って必ず選ぶことになる中央値と、知らずに文字どおりまったく同じものを選んだからといって、私たちの研究を退けることが正当化されるわけではありませんよね？ いつ試しても2050年を指したはずの、完全に妥当な推定法を使い、まったくの偶然から2020年に初めて書き上げた可能性もあります。実際、私たちは報告書の中で、同じ方法論を以前の年に評価しても、やはり2050年頃を指したはずだと示そうとしています――
エリーザー： いいですか、人々はこれを試し続けています。うまくいったことは一度もない。これからもうまくいきません。世界が終わる2年前にも、AGIは30年後だと示す、生物学に着想を得た別の推定が公表されるでしょう。そのときの情報価値は今とまったく同じです。私だってタイムラインをぜひ知りたい。しかし、世界の終わる直前まで、欲しい答えを 得ることはできません。そして、非常に注意深く観察していなければ、そのときでさえ得られないかもしれません。こうした物事の時期を当てるのは、ただただ難しいのです。
OpenPhil： しかし私たちの報告書は異なります。生物学に着想を得た推定の方法論は、先人のものより賢明で、素朴でもありません。
エリーザー： 前の人もそう言いましたが、続きをどうぞ。
OpenPhil： まず、人間の脳をエミュレートするために必要なニューラルネットワークのパラメータ数に相当する値について、考え得る範囲を注意深く推定します。次に、それだけのパラメータを持つニューラルネットの学習に必要な例の数を推定します。次に、それだけの学習実行にかかる総計算コストを推定します。そして、私たちが 最も 可能性が高いと考える根底の前提を置くと、ムーアの法則から中央値の時期推定として2050年が得られます。ただし、複数の異なる方法でも分析しています。
エリーザー： ネットワークのパラメータを計算演算の代わりに使い、深層学習の訓練ランを生物学的進化の代わりに使っていることを除けば、これは前の人が試したこととほぼまったく同じです。
OpenPhil： そうです。だから、間違った生物学的量を推定するという彼の誤りを修正し、これでもう大丈夫ですよね？
エリーザー： 前の人も、モラヴェック が推定対象を間違えたことについて、自分は そうしたと思っていました。そして彼もモラヴェックも、複数の角度から同じ間違った問いを確率的に分析しても、根底の誤りについてほとんど前進できなかったでしょう。
OpenPhil： ほら、歴史を通じて二人以上が誤ることもあります。だからといって、誰も決して正解できないわけではありません。あなたこそ同意するはずです。
エリーザー： それには同意します。しかし、あなた方が誤りを 修正した ことに同意するわけではありません。問題は、どの生物学的パラメータを推定するかの選択だけでなく、方法論そのものにあると思います。いいですか、進化に着想を得た10^43回という推定が完全にばかげていて、どちらの方向にも同じ確率で誤っているという主張がさらにばかげていた 理由 は理解していますか？
OpenPhil： AGIは生物学とは異なり、とりわけ進化的探索ではなく勾配降下法を使って学習され、そのほうが安価だからです。これは主要な前提であり、成り立たなければ推定もそれに応じて誤り得ると、報告書の中で記しています――
エリーザー： しかしその後、誤りはどちらの方向にも同じ確率で起きるので、不安定な推定でも良い中央値だと主張します。以前の累積10^43回という進化的推定は、実際には どちらの方向にも同じ確率で誤っていたわけではない と分かりますか？ それは予測可能な形で、方向性のある 過大推定 だったのです。
OpenPhil： そうですね、生物進化による探索は、勾配降下法による学習より高コストなので、後知恵で見れば過大推定でした。それが、後知恵ではなく事前に予測可能だったと主張しているのですか？
エリーザー： 当時、私は鼻で笑い、「誰か」の数値はとてつもなく巨大でばかげていると思いながら、窓の外へ放り投げました。ええ。
OpenPhil： 遺伝的アルゴリズムではなく勾配降下法が未来のAIを学習させる手法になると、2006年の時点ですでに予見していたからですか？
エリーザー： はっ！ 違います。それは途方もなく高コストな仮想的手法であり、それを信じる種類の人にとっての主な魅力は、自分が何をしているのか、心をどう設計するかを一切分かっている必要がないことだったからです。
OpenPhil： こう返すとしましょう。「誰か」は心を設計するため、進化より優れた手法を 知りません でした。私たちが現在、心を設計するため、勾配降下法より優れた手法を知らないのと同じです。したがって、「誰か」の推定は当時最良の推定であり、私たちの推定は現在最良の推定なのではありませんか？
エリーザー： 世界より数年早く科学的進歩の行き先を知っていた、少数の一流ニューラルネット研究者の一人でない限り――つまり、先見性の劣る人々を納得させるのに十分な強さの証拠を見つける前に、ティール的な「秘密」を知っていたのでない限り――ほかの何らかの技法ではなく、具体的に 勾配降下法 への飛躍を言い当てることはできなかったでしょう。「地球上の全生命の認知的歴史を もう一度進化させる より計算効率の良い心の生産法を知らない」が、時とともに「脳全体ほどの大きさのモデル全体に 勾配降下法 をかけるより計算効率の良い心の生産法を知らない」へ変わるとき、「勾配降下法」という具体的な部分は予測できません。ティール的な秘密を知っているのでない限りは。
しかし知識は、通常一方向にしか回らないラチェットです。そのため、現在の物語が未来のどこかで 何か へ変わり、その期待される正味の方向は予測できます。現在、専門家混合(Mixture-of-Experts, MoE)として知られる、より小さなニューラルネットを部分ごとに学習させ、それらを多重化して一つにする技法を考えましょう。MoEが実際に何かにつながることは、私の中心的予測ではありません。もしMoEに本当に見込みがあると思っていたなら、もちろん注目を集めようとはしません！ タイムラインを 短くしたく はありません。それは地球への奉仕ではなく、インターネット上の議論に勝つために払うべき良い犠牲でもありません。
しかし私が間違っていて、MoEが行き止まりでないなら、この技法は容易に思い描ける実例になります。これが実りある道なら、現在「専門家混合」として知られる技法は時とともにさらに成熟し、未来の深層学習技術者は、勾配降下法と多数の例を使って 脳全体 を学習させる代わりに、勾配降下法とより少数の例を使って 脳の断片 を学習させる技をさらに完成できます。
あるいは、より可能性が高いのは、MoEが次の小さな潮流にはならないことです。しかし、特に2050年まで座って待っているなら、何か は起こります。集中的に研究されている分野にとって、30年は何らかの 大きな パラダイム転換が起きるのに十分な時間です。世界が2025年に終わるなら、現在と非常によく似たニューラルネット技術を最終的に使うかもしれません。しかしその場合、もちろん、あなた方の予測は別のどこかで失敗したはずです。
AGI到来時期の三つの構成要素は、時間とともに容易にグラフ化できる形で増加する利用可能なハードウェア、時間とともにはるかにグラフ化しにくい形で増加する利用可能な知識、そして特定の知識水準で必要となるハードウェアという、巨大で多次元の未知の背景パラメータです。知識の増加をどうグラフ化すればよいかまったく分からないこと――あるいは、「公表された科学論文の本数」などの、操作可能でまったくばかげた指標よりましな方法で、どう測定すればよいか分からないこと――は、これが未来について予測可能な事実 である という点を変えません。時間がたてば、後には より多くの 知識があり、それによって、現在最も安い方法の費用は 方向性を持って 変化します。
OpenPhil： 私たちはそれをすでに考え、織り込もうとしました。私たちのモデルには、アルゴリズムの進歩がハードウェア要件をどう下げるかを表すパラメータが、すでに含まれています。おっしゃるとおり、ムーアの法則ほど正確にはグラフ化しにくいのですが、現時点で最も妥当と思う私たちの推定では、計算コストは2～3年ごとに半減します。
エリーザー： ああ、いいですね。心理的には過剰決定されている最終値の「30年」を、あなた方のモデルがまさにぴたりと当てられたのは、どのように調整可能で決定不十分なパラメータのおかげなのか、気になっていたところです。
OpenPhil： エリーザー。
エリーザー： 経済的な意味で考えてください。人は、商品が最も高く、最も遅く届くところからは買いません。商品が最も安く、最も早く届くところから買います。深層学習研究者は、従来の運動方向を変えずに銀河間空間を転がる無生物の氷塊ではありません。彼らは、あなた方がデフォルトとして想像する方法より、速く安く世界を破壊する方法を探して周囲を見回す経済主体です。次の節目へもっと速く到達する、より創造的な経路を考えることに、あなた方より熱心です。
OpenPhil： より安い手法を求めるこの欲求こそ、アルゴリズムの進歩をモデル化することで、私たちのモデルがすでに織り込んでいるものではありませんか？
エリーザー： AGIの製作者たちは、脳全体ほどの大きさを持つ300,000,000,000,000パラメータのモデル全体に、勾配降下法を10,000,000,000,000回、今日よりアルゴリズム的に速く かけるのではありません。少なくとも2040年に起きるなら、彼らは あなた方が進み方を知らない 何らかの経路でAGIへ到達します。2025年に起きるなら、現代の研究者の一部が進み方を知っている経路かもしれませんが、この場合ももちろん、あなた方のモデルは誤っていました。
あなた方がデフォルトで想像する手法を アルゴリズム的に高速化 して使うのではありません。計算能力を、あなた方の想像とは異なる方法で食べる、アルゴリズム的に異なる手法 を使うのです。
OpenPhil： それは、より良いアルゴリズムによって固定された課題の達成に必要な計算量が2～3年ごとに半減する、という私たちの推定へ、単に織り込まれるべきではありませんか？
エリーザー： この観点を過去のコンピュータ科学史にさかのぼって検証すると、次のことが可能なはずだと主張しているように思えます。
- 2017年以後に発明されたほかの技法を使わない、Transformer以前のRNN／CNNベースのモデルを、GPT-2の約2倍の計算資源だけを使って、GPT-2水準の性能まで学習させる。
- 2006年水準の技術だけを使い、AlphaGoの8～16倍の計算能力で、プロ水準の囲碁を打つ。
参考までに思い出すと、2006年には、ヒントン(Hinton)とサラフトディノフ(Salakhutdinov)が、制限ボルツマンマシンを多層に重ねて学習し、それを「深い」ニューラルネットワークへ展開すれば、勾配と活性化値の消失・爆発問題を避けるネットワーク重みの初期値を得られる、と公表し始めたばかりでした。ただし、層を増やしすぎる、たとえば12層などというばかげたことを試さない限りです。これが深層学習革命全体を始動させた時点でした。
あなた方のモデルは、その時点から、計算を知能へ変える効率が約50倍になったことを示唆しているようです。ならば2021年に深層学習が成し遂げた現代的成果を、深層学習以前の技法と、約50倍の計算能力を使って再現できるはずです。
OpenPhil： いいえ、私たちの観点を過去の現実へ当てはめても、まったくそのようなことは言いません。私たちのモデルは、過去の現実を事後予測するうえで非常に優れています。
エリーザー： どうやってですか？
OpenPhil： 〈エリーザーには、ここで彼らが何を言うか予測できない。〉
エリーザー： この議論には納得していません。
OpenPhil： そうでしょうね。あなたはその点では、ある意味で予測可能です。
エリーザー： まあ、ええ。あなた方の議論を聞いて信念を更新すると予測していたなら、とっくに更新していたでしょう。私は本物のベイズ主義者ではないかもしれませんが、そこまで 支離滅裂ではありません。
しかし、自分の返答の概略なら事前に推測できます。私の推測はこうです。
「いいですか、未来は時期を特定できるほど予測可能だと主張するモデルを持って人がやって来ると、後知恵の恩恵なしに 過去で実際に運用しなければならなかったなら、その観点はくだらない予測をしたように私には見えます。もちろん後知恵の恩恵があれば、考え得る千個の傾向を見渡し、過去の 誰も 当時 実際には注目しなかった、予測と事象の時期についての規則を発明し、物事は傾向どおりに起きたと主張できます。私は当時その場にいましたが、人々が2020年のAIの姿を事前に実際予測していたとは記憶していません。彼らが単に愚かだったとも思いません。
「人々が2040年にもまだ生きていて、現代人と同じように推論するという考え得る未来では、誰かが振り返り、2020年以後のすべては傾向どおり起きたと間違いなく主張するでしょう。しかし、後知恵の人が どの 傾向を拾い上げるかは、事前には予測できません。
「もちろん、あなた方の観点をどう運用するか、過去、現在、未来へどう適用するかを、私が単に理解していない可能性はあります。そしてあなた方の観点とは、確かにある一つのことしか言えず、別のことは言えない種類であり、後知恵の恩恵がなくても過去を見事に予測したはずなのかもしれません。しかし、あまり好意的でない見方もあります。『場合Xには、コイン投げは常に表になる』という誰かの理論に、「X」が正確にはどの場合を表すかを論争できる非形式的パラメータがいくつか含まれ、そうした非形式的パラメータの運用が、過去のコイン投げが実際に表だったかを知っていることから多少影響を受けている、と疑う見方です。
「あなた方の観点が過去にうまく適合するという前提から始めない者としては、後知恵の恩恵なしに、そこからどうやって過去への良い適合を引き出せたのか、なお分かりません」。
OpenPhil： それはかなり一般的な反論です。かなり一般的な反論はいずれも、自分自身にも向けてみるべき刃です。あなた自身の観点が過去をひどく誤予測し、AGI到来時期の推定はすべて、予測可能な形で正味の過小推定だと言わないのは、なぜですか？ 1988年にあなた自身の観点を運用すると想像すれば、モラヴェックのところへ行き、「人間の脳に匹敵するため必要な計算能力についてのあなたの推定は、予測可能な過大推定です。技術者は生物学より良い方法を見つけるので、AGIは2010年より早いと予想すべきです」と言う姿を想像します。
エリーザー： 人間同等の汎用知能に必要な最低計算量についての推定は、予測可能な過大推定だと、私は架空のモラヴェックへ 言いました。本稿のこの部分を書き始める前の対話に、すでに書かれていました。そして、こちらは後知恵の恩恵を伴ってはいますが、どちらの推定も未来の時期を測る役には立たないともモラヴェックへ言いました。所与の計算能力でAGIを作るにはどれほどの知識が必要か、知識がどれほど速く進歩していたか、そして上昇するハードウェアの線と、低下する必要ハードウェアの線が接することで実際の時期がどう決まるか、という問いを飛ばしていたからです。
OpenPhil： 彼の予測が反証される前に、あなたの観点をどう運用すれば、モラヴェックへ事前に「あなたの推定は明らかにくだらない推定だ」と言えるのかが分かりません。「あなたの推定は明らかに方向性のある過小推定だ」となるのではないでしょうか。特に、いま 私たち へ後者を言っているように見えるのです。
エリーザー： それは、私が重みをまったく置かない批判ではありません。つまり、子どもだった頃、私は実際にこんなふうに話していました。「そんなハードウェア推定なんて知るか。それより前に、せめて実現を試みよう。人々は超知能がないため死んでいる。2005年を目指そう」。SF大会でTシャツに「シンギュラリティ2005」とスプレー塗装してもらいました。かなり粗末なものですが、今もどこかのクローゼットにあると思います。
しかしいま、私は年を取り賢くなり、過去の誤りをすべて直したので、過去の誤りへの批判は、新しい議論にはもう当てはまりません。
OpenPhil： なるほど。
エリーザー： つまり、自分で気づいた誤りはすべて直そうとしました。そうした誤りを、ただ、永遠に残したわけではありません。「経験から学ぶ」ことができるというこの主張が、この種の状況では標準的な人間行動でないことは分かっています。しかし変人になるなら、そこは変人ポイントを使うのに良い場所です。少なくとも私自身の見方では、いま私は19歳のときとは異なる議論をしており、その異なる議論は異なるものとして考慮されるべきです。
そして、ええ、AIタイムラインについて少なくとも完全に愚かだったわけではないとも思っています。当時の19歳の自分に分かる限り、その後6年間で本当に懸命に試みれば、2005年までにAGIを構築 できた かもしれない、という意味でです。次の6年間に手に入る知識を前提として実際に必要となる計算能力について、モラヴェックの推定を予測可能な過大推定と見るべきだったから、というほどではありません。むしろ、モラヴェックの推定は ほぼ完全に無関係 と見るべきであり、そのため正しい答えは「分からない」だったからです。
OpenPhil： モラヴェックの推定と、19歳だった過去のあなたの推測は、どちらも 予測可能な大幅な過小推定だったように思えます。一つの脳が消費する計算を推定し、それをAGIの目標時期と呼ぶのは、脳のようなシステムを 学習させる のに必要な計算を無視しているため、明らかに予測可能な大幅な過小推定です。少し好意に欠けるかもしれませんが、モラヴェックも19歳のあなたも、これほど明白な隔たりに気づかなかった点で、動機づけられて軽信的だったのかもしれない、と私たちは考えます。
エリーザー： 深層学習以外のAI技法を一つも知らずに育ち、言葉にならない心の世界で、深層学習がいつでも物事のやり方であり、永遠にそうあり続けると感じていたなら、そのように見えることは想像できます。
つまり、世界が終わるそのときまで、深層学習が人工知能の 最先端 手法であり続ける 可能性 はあります。しかし、もしそうなら、深層学習のパラダイムがAIのパラダイムとして到達可能な最良のものだったから ではなく、ヴィンジが正しく、世界が2030年より前に終わったからです。これは、現実が私に「してやったり」と言うとはまったく予想しない種類のことです。ニューロンとシナプスがATP合成酵素より熱力学的効率の壁から50万倍も遠い人間の脳が、計算を消費する最も効率的な方法だ、と告げられることを予想しないのと同じです。
ここで必要な、具体的な視点取得の操作――1988年または1999年に、何が明白で何が明白でなかったかを考えるために必要なもの――は、「推論」段階に使う計算の何千倍、何百万倍、何十億倍もの計算を別個の「学習」段階に費やすという考えが「常に必要」と見られるようになったのは、2000年代末に深層学習革命がAIを席巻した 後 だった、と理解することです。モラヴェックが執筆していた頃は、チェスのためにゲーム木探索アルゴリズムをプログラムし、そのコードを実行すれば、チェスを指しました。定跡集を追加したり、局面評価関数がナイトとビショップへ与える正確な価値を調整するため、多数の試行を行ったりする必要はあったかもしれません。しかし、ほとんどのAIはニューラルネットではなく、巨大なTPU pod上で学習させるものではありませんでした。
20年後、AIのパラダイムが、巨大なTPU pod上で物事を学習させる新しいパラダイムへ大きく変わることを、モラヴェックが知る方法はありませんでした。彼が生きた世界では、学習できるニューラルネットワークは数層、たとえば3層までであり、それより深いネットワークを学習させようとすると勾配が消失または爆発しました。
明確にしておくと、1999年の私は、AGIには多くの学習が必要だと確かに考えていました。しかし、別個の勾配降下段階で学ぶのではなく、思考しながら学ぶと予想していました。
OpenPhil： これほど明白なことを、いったいどうすれば誰かが見逃せるのですか？ 計算を知能へ変える最良かつ唯一の方法が、深いニューラルネット、多数のパラメータ、TPU pod上の巨大で別個の学習段階を持つことだと、この上なく明白にする、基本的な技術的考え、さらには AIをどう作るかについての哲学的考え さえ、非常にたくさんあります。
エリーザー： ええ、ほら、そうした哲学的考えは1988年にはそれほど有力ではありませんでした。だから未来のパラダイム転換の方向は、後知恵の恩恵なしに事前に予測できず、まして2006年へ時期を特定することなどできなかったのです。
また、1988年にそうした哲学的考えを心から受け入れていても、それが勾配降下法という現代のパラダイムをどれほど正確に指し示したかを、あなた方はおそらく過大評価しています。あるいは、Netflix Prizeが実施されていた2006年10月を考えましょう。世界中の多数のプログラマーが、当時としては巨大な、公開された「訓練セット」を使って損失関数の最小化に挑み、取り置かれた「テストセット」で採点された画期的な機会です。いま誰もがML研究で当然だと考える種類の問題設定――広く共有されたデータセット、取り置かれたテストセット、最小化すべき損失関数、「最先端」を進歩させることへの威信――が、脚光を浴びた最初の瞬間だったと言えます。賞金は100万ドルであり、2006年当時の機械学習賞としては大金だったため、有能な競争者から大きな関心を集めました。
深層学習以前、「複雑にプログラムされた人間の考えは機能せず、大量のデータからただ学ばなければならない」という趣旨で、リチャード・サットン(Richard Sutton)がいま「苦い教訓」と呼ぶ見解を早くから唱えた人々は、確かに「統計学習」の旗をよく掲げていました。
しかし、2006年にようやく始動し始めた深層学習以前、大量のデータを取り込む「統計学習」手法は、その大量のデータを使い、数百万の例にわたる確率的勾配降下法でニューラルネットワークを学習させてはいませんでした！ 2007年、Netflix Prizeの優勝提出物は、k近傍法、二乗誤差を繰り返し大域的に最小化する因子分解法、二層の制限ボルツマンマシン、主成分分析に似た回帰モデルを組み込んだアンサンブル予測器でした。これは比較的大きな、当時としての「ビッグデータ」によって駆動される、100%の統計学習であり、古き良きAI(GOFAI)は0%です。しかし、こうした手法には、現代的な意味で巨大な学習段階は伴いませんでした。
当時、そもそも確率的勾配降下法を使っていたなら、使う対象はもっと小さなニューラルネットワークでした。より大きなニューラルネットワークの計算資源を賄えなかったというより、より幅の広いニューラルネットワークはあまり役立たず、より深いニューラルネットワークは単に機能しなかったからです。
2007年という遅い時期の最先端の統計学習技法は、ビッグデータを実際に利用するため、勾配降下法と誤差逆伝播以外に、大量のデータを使う方法を見つけなければなりませんでした。もっとも、現代の基準では大量のデータではありません。Netflix Prizeの優勝提出物は107個のモデルのアンサンブルを使いました。10^7の誤植ではなく、本当に107個です。これらのモデルは六つほどの異なるモデルクラスから選ばれ、わずかに異なるパラメータで増やし、統計的ノイズを減らすために平均されました。
現代の子どもはこれを見て、こう考えるかもしれません。「107個のモデルを学習させる計算資源があるなら、もっと大きな一つのモデルを学習させればいいのでは？」。しかし当時は、見てのとおり、何かへはるかに多くの計算資源を投入し、より良い結果を取り出す標準的な方法が、単に 存在しませんでした。半ダースの系列から選び、異なるパラメータを持たせた107個のモデルを、ノイズを減らすために平均することが、より大きな労力を注ぎ、より良い結果を取り出すため、2007年の誰にでもできた最善の方法に近かったのです。
OpenPhil： 何と趣があり、古めかしいのでしょう！ しかし、それは13年前、時間が実際に始まり、歴史が現実に起こり始めるより前のことです。いま は、実際にAGIの創出に使われる可能性が非常に高いパラダイムがあります。だから、そのパラダイムを中心にした推定法は妥当なはずです。
エリーザー： 現在のパラダイムが、原理上の終着点でないことは間違いありません。超知能が認知エンジンを構築する方法は、巨大なニューラルネットワークを勾配降下法で学習させることではないと、保証します。ほ・しょう・し・ます。
いまAGIへの道が見えるとあなた方が考えるのは、今日では――2006年と違って――もっともっと食物を喉へ詰め込まれても、明白な限界（今のところ）なしに受け入れそうなパラダイムがあるからです。しかしこれは実のところ、かなり最近のパラダイム転換であり、ますます多くの食物を消費する、可能な限り最も効率的な方法ではないでしょう。
早い段階から、サポートベクターマシンでは決してAGIに到達しないと、かなり強く推測できました。SVMの学習や実行へますます多くの計算資源を投入して、限りなく良い答えを取り出すことはできなかった から です。何であれAGIをもたらすものは、それとは別の、より多くの計算資源を生産的に食べられるものでなければなりませんでした。
同様に、遺伝的アルゴリズムを使い、進化史全体を再現する経路には 非常に多くの 計算資源が必要だったので、それより効率的に計算資源を食べる別の手法が先に開発されたのも当然です。別の手法が存在するはずだということは、「もし」で別のことを考えた人もいたとはいえ、事前に明らかでした。
明確にしておくと、超知能自身が使うものより非効率な手法によって世界が終わるのは確実です。超知能が自分自身のAIシステムを作っているなら、世界はすでに終わっているからです。
そして、勾配降下法と同じくらい非効率な手法で世界が終わる 可能性 さえあります。しかしそうなら、それより効率的なパラダイムが開発されるには早すぎる時期に、世界が終わったからです。私のモデルでは、世界はたぶん、たとえば2040年より前に終わったことになります（？？？）。しかしもちろん、原理的に何をもっと効率よく実行できなければならないかについて自分が知っていると思う量と比べ、現実の知識（出版物の増殖と混同してはならない）が蓄積する速度や、私からはランダムに見えるさまざまな社会現象が知識の速度にどう影響し得るかについては、はるかに少ないことしか知らないと思っています。そのため、可能性の空間におけるそうしたパラダイムの 存在と最終的な到来 に確信を持って言えることと比べ、AIの次のパラダイム転換の 時期 について確信を持って言えることははるかに少ないと思います。
OpenPhil： しかし、次のパラダイム転換が2040年頃に起こると予想しているなら、AGIは2040年 より後 に到来しなければならないと、確信を持って予測すべきではありませんか？ そのパラダイム転換がなければ、深層学習のパラダイムを使ってAGIを作らなければならず、その場合は、2040年は比較的早いという私たち自身の計算が当てはまるからです。
エリーザー： いいえ。なぜなら、たとえば実際に機能するよう改善された専門家混合技法も、完全に深層学習パラダイム 内部 のものと考えるからです。そして、そのような比較的小さなパラダイム転換でさえ、計算コストを2年で半減させるより劇的な高速化を生んだなら、あなた方の計算を無効にします。
さらに重要なのは、生物学との類推にもとづく、脳と同等の深層ニューラルネットについて毎秒10,000,000,000,000,000回という数値も、その学習更新が10,000,000,000,000回という数値も、私が単純に信じていないことです。まったく信じていません。妥当なアンカーだとは思いません。不確実性の広い分布の中央値として使うべきだとも思いません。最初に開発されるAGIは、エネルギーを異なる方法で食べるのと同じく、計算も異なる方法で消費します。「AGIが人間の脳と比べてどれほどの計算を食べる必要があるか」と「AGIが人間の脳と比べて何ワットを食べる必要があるか」は、いずれも、その時代の技術と科学に伴って常に低下していくのです。
OpenPhil： 私たちの計算は、人間水準の知能を生み出すため必要な計算量について、少なくとも緩やかな 上限 を与えるのではありませんか？ ある計算が変数の上限を出せるなら、その変数について情報価値がないはずがあるでしょうか？
エリーザー： 記述しているアーキテクチャが、実際に人間の知能を生み出すようそもそも機能できる、と仮定しています。この仮定自体、暫定的なだけでなく、誤っている可能性が高いと感じます。正確なGPTアーキテクチャを、あなた方が人間規模と計算したところまで規模拡大し、現在の勾配降下技法で学習を始めたなら……主として起きるのは、GPT-3水準をそれほど大きく超えないところで飽和し、損失関数が漸近することだと思います。たとえばGPT-4のように振る舞うが、それより大きくは改善しない、ということです。
モラヴェックへ伝えるべきだったのは、この点です。「申し訳ない。あなたの生物学が正しくても、未来の人々がX量の計算を投入し、Yという結果を取り出せるという仮定は、本当に知っていることではない」。そしてこの点は実際、未来を予測し、時期を特定する彼の能力を完全に台無しにしました。
あなた方にも同じことを言わなければなりません。あなた方のモデルには、「AGIが毎秒どれほどの計算を食べなければならないか、そのため学習可能なモデルにいくつのパラメータがなければならないか、そのパラメータを学習させるにはいくつの例が必要か」という、既知とされるパラメータが含まれます。実際に最初のAGIを生み出すため使われる手法と比べれば、その推定は途方もなく当てはまらないと予想します。一つの脳と同じだけ強力なスーパーコンピュータを、ただ使うという発想についてモラヴェックが誤っていたのと同じです。あなた方のパラメータ推定は、最初に成功するAGI設計がそもそも 持たない 性質についてかもしれません。何と、ニューラルネットワークでない 重要な構成要素が含まれていたらどうします？ 現世代の人にはほとんど想像できないだろうことは分かりますが、世界は常に現在の姿だったのではなく、終わらなければ変わります。
OpenPhil： あなたの推論の一部が、それ自体の前提に立ってもどう整合的になり得るのか分かりません。あなたによれば、私たちの2050年という推定がAGI到来時期の緩やかな上限を与えない――より正確には、2050年を中心とする私たちの確率分布が、合理的なAGI到来確率分布の緩やかな上限でない――なら、その2050年中心の分布が予測可能な形で方向性のある過大推定だと、どう主張できるのか分かりません。
あなたが言えることは どちらか です。私たちが予測したAGIへの経路、または非常によく似たものは、私たちのモデルの不確実な構成要素が織り込む量より はるかに多い計算を必要とせず、原理上はおそらく機能する。したがって確率分布は合理的に推定可能な到来時期の緩やかな上限を与えるが、それ以前に、パラダイム転換が予測可能な形で、さらに速い実現法を与える。つまり、私たちの推定は緩やかな上限であり、同時に方向性のある過大推定でもある、と言うことはできます。あるいは、AIの作り方についての無知により、生物学を超える計算コストの増加が一桁 より大きく なる、と言えます――
エリーザー： 確かに。以前の生物学に着想を得た推定がアンカーした、一つの人間の脳と同等の計算より、あなた方の提案全体には10兆倍かかるとされているのと同じです。
OpenPhil： ――その場合、2050年を中心とする私たちの分布は、良い緩やかな上限ではありませんが、同時に 予測可能な形で方向性のある過大推定でもありません。批判としては、どちらか一方を選ばなければならないのではありませんか？
エリーザー： うーん……対話のこの部分を実際に書いてみると、それにはいくらか道理があります。分かりました。先ほど述べた意見を修正しましょう。あなた方の生物学的推定は、決してうまくいかない手品であり、それ自体の前提に立つ限り、AGI到来時期についてほとんど何も教えないと思います。それとは別に、私自身のモデルから、あなた方のタイムライン分布はたまたま長すぎると思っています。
OpenPhil： エリーザー。
エリーザー： つまり実際、この出来事全体に対して私が本当に憤る理由の一部は、強いAI予測についてのプラットの法則が――予測しようとする人に結局「合理的」に聞こえる期間として、「30年」を 1980年代に 一般化した法則が――まったく同じように、未来論者志望に「合理的」に聞こえるものとしてなお効いていることです。いまいましい2020年 に、存在しない火災報知器の沈黙の中、空気がAIの煙で満ちているというのに。
しかし、あなた方にもひょっとすると説得力を持つ言葉で表してみましょう。
最近のパラダイム転換は、「探索木を探索するチェスプログラムを書いて走らせる。AIはそう計算能力を食べる」から、「数百万のデータサンプルを使うが、巨大で別個の学習段階を必要とする方法では ない」へ、そして「無数の勾配降下更新を行って巨大なネットワークを学習させ、それから走らせる」へ、というものでした。この新しいパラダイムは、はるかに多くの計算資源を要しますが、いまは（小さいながら）大きな量の計算資源を利用できるので、人々は使っています。そしてこの新しいパラダイムは、プログラマーの労力を節約し、さらに重要なことに、プログラマーの知識が必要となる度合いを下げます。
これが最後の 可能な パラダイム転換ではないと、私は確信を持って言います。そしてさらに、さらに層を積めというパラダイムは、すでに、捨て得る知識の全体からかなり大きく見える一口分だけ、知識の必要量を減らしています。
そこで、世界を終わらせるAGIは、より多くの知識と、より少ない総当たりを組み込む可能性が高い、と論じられるかもしれません。それにより、正しい種類のタイムライン推定は、「勾配降下法の導きすらない、純粋に盲目的な探索として、進化史全体を再現する費用」という方向から さらに 離れ、「一つの脳をただ一つ作れたなら、その脳一つの計算コスト」という方向へ さらに 近づきます。
つまり、アンカーにすべき生物学的推定は一つではなく、二つ あると考えられます。「生物進化が脳を発明する計算コスト」から、「一つの生物学的脳を走らせる計算コスト」へ、時間とともに均衡が移ると想像できます。
たとえば1960年には、脳の働きについてほとんど知らなかったので、ハイパーコンピュータを与えられた場合、当時の知識だけを使ってAGIを素早く取り出す最も安い方法は、賢いプログラムを見つけるまでコンピュータプログラムの大規模な進化トーナメントを走らせ、10^43回の演算を使うことだったかもしれません。
今日、あなた方は遺伝的山登りより効率的にプログラムを見つける勾配降下法を知っています。したがって、自分自身の知識だけを使って汎用知能を得るために、どれほどのハイパー計算を使う必要があるかという均衡は、進化史の計算コスト から離れ、一つの脳が使う計算という下限 へ向かって、10桁移動しました。未来には、この均衡が予測可能な形でさらにモラヴェックの生物学的アンカーへ近づき、インターネット上の「誰か」の生物学的アンカーから遠ざかります。
私の観点からは、これは、私が全部は修正できない誤りを犯している人々を説得し、ほとんど同じ誤りを犯したまま、わずかにより良い答えを出させようとする巧妙な議論にすぎない、と認めます。自分の心の中では、あらゆる計算装置の中でも 脳 に着想を求めるのではなく、1995年の家庭用コンピュータ上でAIを構築する方法を教えてくれる「未来からの教科書」を、「進歩はどこまで行けるか」のアンカーとして考えがちです。
しかし、生物学へアンカーするという誤りに固執するなら、二つの悪いアンカーの間にあるスペクトルを見ることで、少しはましにできるかもしれません。これにより、少なくとも変化する現実に気づけます。だから、これはあなた方へ伝えると役立つことであり、根拠のない議論による純粋な説得用の超兵器ではない、と私は考えます。生物学的アンカーと、最適化について現在持っている何らかの知識との混成物である、一つの悪いアンカーだけに固執する代わりに、現実が時間とともに二つの悪い生物学的アンカーの間をどう 移動しているか に気づき、それによって変化する現実へ少なくとも目を向けられます。勾配降下法にもとづく新しい推定は、自然選択より最適化について わずかに 多くをいま知っているという事実を使い、進化的計算から離れ、個々の脳の推定へ向かって10桁踏み出しています。そして二つのアンカーによって、時間とともに現実が変わるのを見られるようになったいま、さらに先の移動があるかを考えられます。
しかし現実的には、さらに大きく移動するにはどれほど多くの知識が必要だと思うかを、時間の関数として大まかに見積もり、その線がハードウェアの線と交差する時点を求めることは 勧めません。一部の研究者は、あなた方の知らないティール的な秘密をすでに知っていて、その研究者を（そのように見ることに固執するなら）個々の脳の計算コストへさらに近づけているかもしれません。経済は革新者がその方向へ進むことに報います。そして、革新者が研究室で知っていることを、あなた方がすべて知っているわけではありません。
大発明がついに新聞の見出しとして世界へ現れるとき、その2年前には、実現まで50年かかると断言している人がよくいます。そしてもちろん、見出しの50年前に、実現まで2年だと断言している人もいます。自分は賢くやっていると思うときでさえ、物事の時期を当てるのはきわめて困難です。二つの生物学的アンカーを巧みに使い、その間を現実が動く様子を目分量で測ることは、現実の生活で優れた時期情報を与える種類の巧みさではありません。
現実の生活では、現実は立ち去り、代わりに別のことを行います。そして未来は、未来学者が予測したほど細部まで似た姿にはなりません。現実の生活では、冒頭で示した、より賢明だがより悲しい同じ結論へ再び戻ります。実際、未来を予見するのはかなり難しい。とりわけ、その話題について文字どおり世界最先端の技術知識を持たないならそうであり、実のところ持っていてもそうです。時期についてティール的な秘密を何も知らないと思うなら、2年を超える警告期間は得られない一般方針が必要だと、ただ考えるべきです。警告徴候を、退けず細心に分析していなければ、それだけの期間すら得られません。
OpenPhil： 私たちの推定が誤り得る多くの仕方を報告書で検討し、生物学に着想を得た推定を行って異なる結果を出す複数の方法を示しています。あなたの見方では、それによって、優れた認識論をいくらか評価してもらえますか？
エリーザー： 読者への影響という点で、単一の推定だけを示すより、そのほうが優れている可能性が高い、と言えれば よかった のですが。実際には、あのように巨大で慎重な「とても真面目な」報告書を書き、「代替計算」で読者を埋め尽くすと、読者は全体へ より大きな 権威を認める可能性が高いでしょう。「自分が間違っているかもしれない諸方法」を記し、自分の「不確実性」を告白するのは結構です。しかし実際には、「そして、これはこの話全体を捨て、最初からやり直すのに十分な不確実性と潜在的誤りだ」という結論に到達していません。到達する必要があったのは、その結論です。
OpenPhil： 私たちが使った方法論と比べ、どんなより良い推定法が存在するとあなたが考えるのか、私たちには明らかでありません。私たちの方法では、考え得る多くの不確実性と、確率分布を生成する複数の方法を検討し、それらを最終的な推定へまとめようとしています。ベイズ主義者には、どこかから確率分布が必要ですよね？
エリーザー： 現在、世界を破壊するにはIQ 200が必要であり、現在最も賢い人間のIQは約190であり、したがって「マッドサイエンスのムーアの法則」によれば、世界は15年後に破壊可能になり始める、と誰かが計算したとしましょう。「マッドサイエンスのムーアの法則」が実際に成り立つと仮定してさえ、必要な現在のIQとして200という推定値を放り込んだ部分は、完全なごみです。これは修復できる種類の誤りでもありません。いいえ、必要なIQについて自分が間違っている多数の仕方を検討しても、現在の人々のIQを推定する、多数の異なる代替的方法を検討しても修復できません。
モデル全体への正しい対応は、窓の外へ放り投げることです。そうすれば、そのモデルが実際の思考に不当な影響を及ぼしません。そのモデルが及ぼす影響は、どんなものであれ不当だからです。そして、その代わりにどんな思考過程を採用しようと、終わりが見えるまでは、時期について優れた事前情報を期待すべきではありません。
OpenPhil： ええと、もし誰かがティール的な秘密を知っていたら、あるいは……自分の知識の川を、現実の軌道へより近くなるよう狭めていたら？ あなたの世界観で、正確に何が許されることになっているのか、私たちには分かりません。しかし冒頭に、不確かなとき、自分より不確かな人を批判することには注意すべきだ、という話がありませんでしたか？
エリーザー： その人たちは うまくいけば、もっと近い将来について大胆な予測もできるでしょう。少なくとも、世界全体が終わる前に未来がどう見えるかについて、何か を言えるでしょう。つまり、自分が何かを知らないからといって、ほかの誰にもそれを知ることはできないと宣言して回るべきではありません。しかし時期の予測は、現実には本当に難しい課題です。だから、ええと……予言の最後の数時間に至る前に、数多くの物事を予測できると期待します。
OpenPhil： 私たちには……そうは思えません。私たちは推定を行ったかもしれませんが、狭い推定を行ったのではありません。この種のものとしては比較的広い確率分布を示しました。だから、近い将来も詳細に予測できることを要求するほど、時期についての偉業には思えません。
あなた の暗黙の確率分布にも中央値がありますよね？ 中央値を持つ確率分布があるなら、近い将来のあらゆることも予測できる必要がないのは、なぜですか？
エリーザー： これについて中央値となる年を出すよう、自分の脳へ強いたことは文字どおりありません――これが弁明になるわけではありません。私はなお、暗黙の確率分布を何らか持っているからです。あるいは、それを持っているかのように行動しない限り、自己破壊的な形で支離滅裂に行動しているはずです。しかし、それでもこう感じます。あなた方のモデルがそこまで強固で、不確実性の流れとしてそこまで集中しており、広い分布の中央値でさえ「2050」のような数値を近寄ってきて耳元で囁くなら、もっと近い将来についても大胆な予測があるはずです。つまり、もし実際にその種の物事を計算でき、真理として現実へ実際に結びついたモデルがあるなら、です。
ベイズ主義者を志す者なら、私たちが時に「構造的不確実性」と呼ぶものに直面してさえ、自分の不確実性を確率分布の形へ算定しようとするでしょう。あるいは、整合性の法則を知っているなら、自分の計画と行動が、時間を通る一部の経路に、ほかより暗黙のうちに大きな重みを与える徴候を示すため、認めたくても認めたくなくても確率を推定する振る舞いを見せる、と認めるでしょう。
しかし、賢明なベイズ主義者志望なら、自分がどんな確率を使っているにせよ、それはある意味で直観的なものであり、そこまで優れているとは期待しない、と認めるでしょう。直面している時期問題は本当に難しく、人間はそれが得意にはならないからです。終わりが近づくまでは。そして、そのときでさえ得意にならないかもしれません。
1988年に戻り、モラヴェックの推論がどこで間違っていて、当時実際に知っていたことにもとづいて、どう異なる推論ができたかを伝えられるなら、彼へ答えるべきだったのはそれです。「目標となる数値について、代替計算を十分検討しなかった」ではありません。いま私は、変わらず同じ答えを、あなた方へ与えます。
ハンバリ： 戻ったぞ！ すまない、昼食休憩を取らなければならなかった。最近の内容の一部を急いで確認させてほしい。もっとも、確認している間に、ほぼ間違いなく自分がする反応を先に言っておこう。
ああ、しかし君がまったく考慮していないように見える点が、ここにある。すなわち、もし君が間違っていたら？
エリーザー： ハンバリ、それは主に、生物学的な実時間で何歳かを問わず、自分が間違っている可能性をまったく考えたことがなく、自問することで本当に利益を得る子どもへ言うべきことです。私が大人であることをどう定義するかという意味で、何歳であれ大人同士が、互いへ頻繁に言うべきことではありません。架空のモラヴェックにも架空のOpenPhilにも、私が一度もその言葉を言わなかったことに注目してください。大人同士が互いへ言うべき良い言葉でも、自分自身へ「大いなる意味を込めた口調」で言うべき良い言葉でもありません（日常的な確認として言うこととは違います）。
自分が間違っているかもしれないと心配するのは、とても簡単です。自分が おそらく 間違っている 方向 を見抜けることは、より難しい仕事です。そして可能性が高い方向性のある誤りを見つけ、見解を更新した後でさえ、「だが、もし間違っていたら？」という異議は以前と同じくらい力強く聞こえます。そのため、私はそのようなことを大人同士で言うべきではないと言うのです――
ハンバリ： よし、読み終えた！ うーん……。すると、何の追加前提も加えず完全に一般的に考えた場合、君が間違っている可能性は、君の観点からOpenPhilの観点へ向かう、方向性のある移動を生むはずだと思う。
エリーザー（ため息をつきながら）： いったいどうすれば、それが真であり得る種類のことだという印象を持つに至ったのですか？
ハンバリ： 君のタイムラインはOpenPhilのタイムラインより短いという印象を受ける。この壊滅的な告発は真実か？
エリーザー： 特定の年を挙げることは認知的に有害な活動の一種だと考えています。自分の直観に重みを置こうとして言語化した確率が、直観より愚かになることを恐れ、脳が生来持つこの件についての直観を確率へ翻訳しようとするのを控えてきました。実際に抱いている感覚についても、声に出すのは賢明でないかもしれないと心配しています。自分の経験では、AGIタイムラインは精神衛生に良くありません。そして、ほかの人々の免疫系は私自身のものよりさらに弱いように見えるのを心配しています。しかし、私の外から見える振る舞いは、中央値が2050年よりかなり前にあるように見える分布を明らかにしている、と認めざるを得ないでしょう。
ハンバリ： よし、すると、君はAGIについての自分の信念により強く確信し、OpenPhilは確信がより弱い。したがって、君が間違っている限り、世界は、世界GDPが初めて1年で倍増する前に4年で倍増するなど、未来がおそらくどう見えるかについてのOpenPhilの予測に、より似た姿になる。
エリーザー： その「推論」と呼べるなら、その推論経路の間にあるいくつかの段階を説明する必要があります。
ハンバリ： 確率論を知っているはずの者に、これを説明しなければならないとは驚きだ。2050年より前の年にAGIが到来する確率をより高く置くなら、平均して、AGIが到来し得る各年へOpenPhilより多くの確率を集中させている。君の確率分布はエントロピーが低い。信じないなら、この部分は文字どおり計算できる。だから、君が間違っている限り、君の確率分布は最大エントロピーの方向へ移動するはずだ。
エリーザー： こういうことがあると、あの極端な秘教主義的見解は正しいのではないかと心配になります。その見解では、現代の地球の普通の知識人は、ベイズの規則や確率分布のエントロピーという概念など、私の故郷の惑星から来た高度な考えを教えられるほど、文字どおり賢くありません。それも生のIQだけでなく、認知反射テストや、まだ測定方法の分からないほかの何かも含む意味でです。高度な道具を与えることで足を撃つ方法が増えるので、正味では害を与えるのかもしれません。考え、だまされ得る議論経路の総複雑性が爆発し、いまやその経路には「最大エントロピー」のような言葉が含まれ得るからです。
ハンバリ： 漠然と上から目線で話し終えたなら、私の議論を具体的に反駁するために、わざわざ説明してくれないか？ 私には議論に隙がないように思える。私の数学は間違っておらず、私が主張することを意味している。
エリーザー： ここで聴衆には、まず自分でハンバリを反駁してみるよう勧めます。おじいちゃんは、文学上の設定としてだけでなく実際にも年を取りつつあり、そもそも身体が健康だったことはありません。次の世代が、おじいちゃんに肩越しに見張られ、促されなくてもこの仕事をする方法を学ばなければ、おじいちゃん一人ですべての仕事をすることはできません。私が反駁するよう強いられる、わずかに異なる誤った議論は無限に供給され、実際、その道に終わりはないように見えます。
ハンバリ： あるいは、反駁される必要があるのは君かもしれない。
エリーザー（笑顔で）： それは私がやりそうなことに見えますよね？ 対話の相手が妥当な点を述べた事例を選び、読者がきちんと注意を払っていなかった場合に備えて、それを反証するよう求める。実際、このような場合は、まず一歩下がって「ハンバリは正しいか、正しくないか？」と自問し、「どうすればハンバリの誤りを証明できるか？」とは問いません。
しかし、読者がこれを考えるつもりなら、ここで立ち止まり、考えてください。
間違っているかもしれないという一般的な不確実性は、ほかの追加前提なしに、AGIについての確率分布のエントロピーを増やし、それによって中央値を時間的にさらに遠くへ移すべきだ、というハンバリの主張は正しいでしょうか？
ハンバリ： 終わったか？
エリーザー： そう願います。まず立ち止まって考え、自分で答えを出すよう読者へ促す方法が、ほかに思いつきません。
ハンバリ： では、欠陥があるとすれば、私の議論のどこにある？
エリーザー： いつものように、「もし間違っていたら？」のような議論の超兵器について、人々が自分の好む使用可能性しか見ていないとき、その議論が証明しすぎることを示せば、欠陥をあらわにできます。AGIを予測する確率分布で、到来時期の中央値を今から5万年後*に置いたなら、それは 非常に 確信の弱い予測でしょうか？
(*) 知的種が出現してからAGIを構築するまでどれほどかかるかについての無知事前分布にもとづくのかもしれない。これまでの観測から少なくとも5万年かかるはずであり、更新後の推定では、おそらくそれと同じくらい、さらに長くかかる。
ハンバリ： もちろんだ。数学がそう言っている。ただし、これは少し 確信が弱すぎる と思う。AGIをどう作り得るかについて、私たちには いくらか 知識がある。だから私の答えは、確かにこの確率分布はエントロピーがより高いが、私にとってさえ確信が弱すぎることを表している、となる。
君自身は狂ったほど自信過剰だと思うし、しかも個人的に不快な仕方でそうだと思うが、だからといって確信ゼロを唱えるわけではない。私は君より傲慢さを抑えようとしているが、次の1分間に自分の目が見るものについての現時点で最も妥当と思う推定は、視覚的ノイズについての最大エントロピー分布ではない。今後1世紀以内のどこかでAGIが起き、到来時期の中央値は、おそらく今から30年後というのが、人が合理的に持つべき 程度 の確信に思える。
エリーザー： ほう、本当ですか。誰かが何気なく近づいてきて、AGIが今後1000年以内に起きない確率を99%に置く――5万年という中央値の距離が含意しがちな種類のものです――と言ったなら、あなたは実際、その99%を賭けることを向こう見ずな自信過剰だと非難すると思います。
ハンバリ： うーん。否定したい――君が私を誘導して迷わせているのではないかと強く疑っている――が、誰かがやって来て、今後1000年以内にAGIが到来する確率はわずか1%だと宣言したなら、単に不確かすぎるのではなく、自信過剰だと言うだろうことは認めざるを得ない。
そういう言い方をされると、今後1世紀にわたるAGI到来の広い確率分布を持ち、中央値を30年後に置く人は、現実的には、人が持ち得る限りで最も不確実な状態に近い、と言うと思う。それ以上広げれば、AGIは今後30年以内にはおそらく 起きない と宣言することになり、それは自信過剰に思える。それより狭めれば、AGIは今後30年以内におそらく 起きる と宣言することになり、それも自信過剰に思える。
エリーザー： そうですか。そして私自身の向こう見ずで傲慢かつ自信過剰な見解について、私自身が不確実である限り、代わりにあなたの見解により似た見解を持つべきだと？
ハンバリ： そうだ！ 自分のモデルについて、君自身が完全には確信していない限り、基準率として、この可能な限り無知な観点へ戻るべきだ。
エリーザー： あなたの確率分布が中央値を2050年に置くことを、私自身の観点が、ほかの多数の大ざっぱな推測の中の一つにすぎず、しかもこの特定の推測は、私が正当に退けた誤った推論にもとづく、とみなす場合は？
ハンバリ： それなら明らかに君は自信過剰だ。ほら、君には分かっていない。私が提示しているのは、問題について考える候補方法の一つにすぎないのではない。ほかの人が 自分自身の 思考法へ完全には確信を持たない限り、戻るべき 基準率 なのだ。ほかの思考法は、私には自然で明白に見える前提に加え、追加の 前提を課している。自分の正確な推定へそこまで完全に確信し、私の推定へ少しも戻そうとしない、君の途方もない傲慢さを、まったく理解できない。
最初にもっと確信の強い一次推定を構築し、それから自然な基準率へ戻すことで、より謙虚な二次推定へ到達した、と主張するつもりではないだろうな？
エリーザー： はっ！ 違います。少なくとも、その基準率ではありません。実際の「時間」は、自分が目分量で推定しようとするときより遅く流れるように見えると観察したので、AGIタイムラインを少し遠くへ動かそうとはしています。タイムラインを具体的に2050年へ向けて動かしたわけではありませんし、OpenPhilのAIタイムライン報告書を読んでも、一次推定も二次推定も、ほんのわずかさえ、まったく影響を受けませんでした。進化史を再現するのに10^43回、10^46回、または何回かの演算が必要という推定を読んだとき、ほんのわずかさえ信念を更新しなかったのと同じです。
ハンバリ： では、君が正しく、ほかの全員が間違っていると、どうしてそこまで完全に確信できるのか想像もつかない。少なくとも、自分の観点をほかの人々の考えへいくらか戻すべきではないか？
エリーザー： 街頭で人々に予想するAGI到来時期を尋ねた場合、その意見のようなものへ？ もちろん、人の人格を尊重することがその意見へ従うことを含意すると思っていたなら、先進国という特殊事例だけでなく、地球上の全員に尋ねなければなりませんが。
ハンバリ： まさか！ 私自身か、私が一緒に過ごし、ある種の口に出さない仲間からの圧力を私へ及ぼせる一群の人々の意見へ戻すべきだという意味だ。それこそ確信の弱い意見が戻るべき自然な参照クラスであり、ほかの参照クラスはすべて自説に都合の良い選択だ。
私自身が傲慢だと言おうとする前に、私は、自分が一緒に過ごし、よりわずかに地位の高い同族、または私が好んで呼ぶところの「信頼できる人々」だと本能的にみなす種類の人々の推定へ向かって、自分自身の推定を確かに回帰させたと言っておこう。ただし、たまたまその人たちの意見は、私自身の両側へほぼ均等に分布していた。母集団として統計的に正確かは分からない。正確な記録は取っていなかったが、私の記憶で利用可能な範囲では、ほかの人々の意見は明らかに私自身の両側にあった。だから中央値はあまり動かなかった。しかし、ときにはそういうこともある！
だが、これらのほかの人々の信頼できる意見は、明らかに 君の 意見の一方側へ強く偏っている。だから君の意見は、少なくとも 少し はその方向へ回帰すべきだ！ そうすることを まったく しなかったと自白した事実は、ばかげた傲慢さを示している。
エリーザー： まあ実際、私の観点からすると、完全に愚かだった16歳の自分でさえ、AGIが重大なことになると気づけました。ほかの多くの人々が、自分たちでさえ気づき 始める だけの大量の証拠で頭を殴られるより、何年も前のことです。当時、私はほとんど一人で歩いていました。そしていまも、主として一人で歩いていると自分を見ています。それは「失敗継続の法則」に沿っています。この未来で、分別ある人々の世界に住むことになるのなら、過去の時点ですでに分別ある世界に住んでいたはずだからです。
初期以来、より多くの人が私の道の以前の節目へ追いつき、その先の段階について公に私と論争し始めるのに十分な数になりました。しかし私は、彼らが追いついたとは考えません。私の見方では、彼らの進む速度は、いまなお進み続ける私より遅いままです。最近の私の実際の仕事は、頭が良いとされる人々を説得し、溶岩の穴へまっすぐ身を投げさせないことが中心のようです。いつかあなたを認識論上の対等者とみなし始めたなら、知らせましょう。いまのところ私は、議論によって動かされ得るよう努めていますが、あなたの存在だけでは、私にとって議論になりません。
それを「傲慢」というあなたの言葉で定義することを選ぶなら、私は肩をすくめ、わざわざ反論しません。そのような呼び名は「我が」関心に値しない。
ハンバリ： よろしい、傲慢だと認めるのだな。ただし、それが自分は不合理で間違っていると認めるだけではない理由が、私には分からない――
エリーザー： それらは異なる言葉であり、実際、表面だけでなく意味論上も異なることを意味します。単なる言葉の意味を熟考することを人へ勧めるのは普通ではありませんが、この場合、あなたには役立つかもしれません。
ハンバリ： ――だが、君が 無限に 傲慢でないなら、少なくとも 少し はほかの人々の立場へ向け、定量的に信念を更新すべきだ！
エリーザー： OpenPhil自体が、いつでも存在したわけではないと分かっていますか？ 「ほかの人々」は彼らだけではありません。私のように幾度も季節の巡りを見た古老なら、人生のこれほど遅い時点で他者の意見へ従い始めるとすれば、自分の推定を回帰させるべきだと論じ得る標的を、ほかにも多数考えるかもしれません。
ハンバリ： 君 だって無限の時間を通して存在したわけではない！
エリーザー： 歴史書を一目見れば、ええ、私がいなかったことを確認できるでしょう。そして事態は、それに応じて悪く進みました。
ハンバリ： すると……なぜ、自分の意見を少なくとも少しはOpenPhilの意見の方向へ回帰させないんだ？ この、どう見ても無限の自信が、まったく理解できない。
エリーザー： 口に出していない自分の中央値の周囲に信用区間があるという事実――物事にどれほど時間がかかり得るかについての直観的感覚の両方向で、間違っているかもしれないと告白すること――は、あなたの見方では、自分への確信が無限より弱いことには数えられないのですか？
ハンバリ： 数えられない。合理的な人々の確率分布の方向へ少しも戻さないことで、根底の認識論と確率分布全体へ、絶対的確信を表している。その分布こそ明白な基準率であり、君の 確率推定を得るため誰かが付け加えなければならない、特殊なほかの要素を一切含まない。
エリーザー： では、そういうことにしましょう。さて、これで終わりです。いつか未来のある時点で、ますます失われつつある視点取得の技能について話すかもしれません。
OpenPhil： すみません。最後に質問があります。私たちがハンバリのように論じていると主張しているのではありませんよね？
エリーザー： まさか！ だからこそ「ハンバリ」は別の対話登場人物として示され、「OpenPhil」という対話登場人物はその種のことを何も言わないのです。ただ、最近会ったあるEAが、私が完全に確信していない程度に応じて、自分の意見をOpenPhilの意見へ回帰させないことについて、困惑し、さらには気分を害しているようでした。そのため、メタレベルで述べる必要のある点として、このことを思い出したのです。
OpenPhil： 「最近会ったあるEA」は、OpenPhilへ不利に考えるべき材料ではありません。ハンバリのような議論を、私たちは組織として支持していません。ほかの人が、あなたが論じたと幻覚する、「たとえごくわずかな可能性しかなくても、AGIリスクを真剣に受け止めなければならない」などという狂った話を、あなたが論じたことが一度もないのと同じです。
エリーザー： まったく同意します。ハンバリが自分をOpenPhilの擁護者と見ているからといって、彼の意見をOpenPhilの意見と結びつけて受け取ってはなりません。MIRIを親切にも擁護しようとして「でも、たとえごくわずかな可能性しかなくても……」と言う人が、それによって自分の認識論上の罪を私の罪にするわけではないのと同じです。
ハンバリに関すること全体は、私が戦ってきた別の長い戦いです。私に分かる限り、OpenPhilはAIタイムラインについてのコミュニケーションを主として対象レベルに保っているようです。それは、ここで私が取ったものより適切で威厳ある姿勢です。