本稿は、TensorFlowおよびTheano向け深層学習システムのラッパーであるKerasを開発したフランソワ・ショレが書いた論考「知能爆発の不可能性」への返答である。
ショレは、自身の論考に対する批判を受けて、次のようにツイートした。
議論をオンラインに投稿して、返ってきた反論が頭の働いていない議論と侮辱だけだったなら、それは自分が正しかったことの確認になるのだろうか？ それとも、オンラインで議論する人々が自己選択されているだけなのだろうか？
その前には、こうもツイートしていた。
自分の見解に執着しすぎてはいけない。おそらく、そのうちいくつかは間違っている。知的な超能力とは、新しい考えに出会うたび、それが自分の現在の見解を裏づけるか反するかを確認するだけでなく、あたかも真実かもしれないものとして検討できる力である。
ショレの論考は、ほぼ要点を突いており、対象そのものについての議論に徹しているように思えた。ショレは議論の手続き上のルールを守るべきだと考える人、私が「文明」と呼びたいものを好む人なのかもしれない、という期待を抱かせる。もし彼がこの対話に加わった結果、頭の働いていない議論と侮辱しか返ってこなかったのなら、もっとましな返答を受けるに値する。本稿では、ショレの各発言に関係する範囲で、この論争における標準的な議論だと私が考えるものを、いくつか順に検討してみた。
メタレベルの話として、真の結論を支持する議論であっても、妥当でない議論は依然として悪い議論だという点には、誰もが同意してほしい。正しい信念状態に到達するには、妥当な根拠を、そして妥当な根拠だけを、すべて合算したい。その根拠を集計するには、議論をそれ自体の条件に即し、局所的な構造と妥当性に基づいて評価するという考え方が必要である。別の理由から自分が同意する側を支えているというだけで、誤謬を見逃してはならない。
ショレへの私の返答は、知能爆発そのものを支持する主張の全体を担おうとするものではない。ここで論じるのは、ショレの個々の議論が妥当かどうかについての私の見方だけである。仮に「知能爆発は不可能だ」という命題がたまたま真実であったとしても、その結論を支持する妥当でない議論まで受け入れるべきではない。
前置きはこれくらいにして、以下がショレへの返答としての私の考えである。
基本的な前提は、近い将来、人間をわずかに上回る汎用的な問題解決能力を備えた最初の「シードAI」が作られる、というものだ。このシードAIは、より優れたAIの設計を始め、再帰的な自己改善ループを開始する。その結果、短期間のうちに人間の知能をたちまち桁違いに追い越し、置き去りにするという。
これは、私が1998年に「シードAI」という言葉を作ったときに意味していたものと、おおむね一致している。19年後の現在なら、私は「能力向上」という一般的な問題、すなわち、資源の増加やさらなる最適化に応じて認知システムの力がどう拡大するか、という問題として語るだろう。再帰的自己改善という考えは、能力向上という一般問題への入力の一つにすぎない。例えば最近、私が少しでもシードAIとみなすようなものが一切関与していないにもかかわらず、囲碁を打つ能力が驚くほど速く拡大するのを目にした。とはいえ、ショレが「自己改善」をめぐって提起する疑問の多くは、より一般的な能力向上の主張にも関係していると思うので、話題の設定そのものには異議を唱えない。
この理論の支持者は、知能を一種の超能力ともみなし、その持ち主に、環境を形づくるためのほとんど超自然的な能力を与えるものと考えている。
チンパンジーの視点から人間を描写するなら、うまい表現だ。
ある観点からは、1517年の人々にとって、2017年の文明には「魔法」があると言えるだろう。この隔たりは、もっと正確にはこう特徴づけられる。2017年の私たちは、1517年の人々には、結果を見る前に説明されても「解決策」だと認識できなかった戦略を用いて問題を解ける。私たちの戦略は、1517年には知られていなかった法則や一般化に依存しているからである。例えば、1517年の人に圧縮機式エアコンの設計図を見せても、結果を観察する前に、それを「家を冷やすためのよい戦略」とは認識できないだろう。彼らはまだ温度と圧力の関係を知らないからだ。これを凝った言葉で呼べば「強い認知的封じ込め不能性」となり、比喩的な言葉なら「魔法」となる。もちろん、実際に超自然的なことをしたわけではない。人間と、前世代のソフトウェアを動かすより小さな脳（つまりチンパンジー）との間には、これと似ているが、はるかに大きな隔たりがある。
認知能力の大きな隔たりが、環境を形づくる実用上の能力の大きな隔たりに対応するという主張は、まったく前例のないものではない。知能爆発仮説をどう考えるかとは独立に、知能を「人間の超能力」と特徴づけることに同意する人は多いと思う。
例えば、SF映画『トランセンデンス』（2014年）に描かれているように。
物事に対する世間の印象も、誰かが気にかけるべき事柄だという点には同意する。配車サービスに乗って、AIに関係する仕事をしていると話すと、半分くらいの確率で運転手から「ああ、スカイネットみたいなものですか！」と言われる。いら立つのも理解できる。しかし、知能爆発が可能か、起こりそうかという純粋に事実上の問いを解明しようとするなら、世間で語られている議論ではなく、関係する各論点の各立場について最良の議論を検討することが重要だ。その目的にとっては、ディーパック・チョプラ(Deepak Chopra)が量子力学について書いた文章の読者が、本物のどの物理学者より多くても関係がない。
幸い、ショレは論考の残りをレイ・カーツワイル(Ray Kurzweil)個人への攻撃に費やしてはいないので、この話はここまでにする。
知能爆発の物語は、知能を、現在の人間の脳や将来の電子的な脳といった、個々の知的エージェントが示す汎用的な問題解決能力と同一視する。
この文で「個々の」という語が何の役割を果たしているのか、私には分からない。外から見て、首尾一貫した目標指向的な振る舞いをしているように見えるなら、計算基盤を100のエージェントとして思い描くか、単一のエージェンシー(agency)として思い描くかは、私たちの観点からはほとんど問題にならない。実用上の帰結は同じである。外部にいる私たちの視点から首尾一貫した目標指向的な振る舞いをしているように見える「エージェンシー」について私が考えている、という言い方は、公平なものだと思う。
知能爆発理論に私が見いだす第一の問題は、知能が必然的に、より大きなシステムの一部であることを認識していない点だ。つまり、状況から独立していくらでも賢くできる「瓶の中の脳」として知能を捉えている。
私自身やニック・ボストロム(Nick Bostrom)、あるいはこの分野の主要な技術的論者の誰かが、問題解決は状況や環境から独立して進められると主張した例を、私は知らない。
とはいえ、構造を持つ多様な低エントロピー環境で非常によく機能するシステムは存在する。例えば人間の脳は、自然選択が明示的に最適化してこなかった多くの環境を含め、きわめて幅広い環境で、ほかの霊長類の脳よりはるかによく機能する。私たちは月でも機能し続ける。月は、十分に深いメタレベルで地球と共通点を持ち、例えば過去の経験からの帰納が月でも機能し続けるからだ。未来と過去との間に、簡潔に記述できる関係がまったくない宇宙に放り込まれたなら、確かに私たちはその「状況」ではうまくやれないだろう。しかし、未来が過去と関係を持つ現実の世界で、AIが及ぼす影響を考えるうえで、その想定に実用的な意味はない。
とりわけ、「汎用」知能というものは存在しない。抽象的なレベルでは、「ノーフリーランチ」定理によって、これが事実だと分かっている。この定理によれば、あらゆる問題を通じて無作為な偶然を上回れる問題解決アルゴリズムは存在しない。
スコット・アーロンソン(Scott Aaronson)の反応はこうだ。「『ノーフリーランチ定理』、つまり最適化問題の無作為なインスタンスについては総当たり探索を上回れないという（自明な）命題を持ち出して、AIの限界について有用なことを主張するのは、幸先のよい兆候ではない」
ショレの論考の残りを踏まえると、ここが中心的な論点に見えた。そのため、この点のできる限り単純な特殊例を、数式を交えて詳しく説明する価値がありそうだ。この数学がショレにとって新しいものだとは思わないが、共通の言葉を確立し、一緒に読み進めているほかの人々のためにも、ここで繰り返しておく。
トーマス・ベイズ(Thomas Bayes)が考案したラプラスの継承則は、これまで観察した要素に基づいて、二値列の将来の要素を予測するための単純な規則の一つである。この二値列を、公平とは仮定しない「コイン」という列生成器が生み出す「表」と「裏」の並びだとしよう。継承則を導く標準的な問題設定では、事前の無知の状態として、コインが表になる何らかの頻度 \(\theta\) があり、私たちの知る限りでは、\(\theta\) は \(0\) から \(1\) までのどの実数値を取る可能性も等しい、と考える。ベイズ推論を行うと、表を \(M\) 回、裏を \(N\) 回見た後、次のコイントスで表と裏が出るオッズを、次のように予測すべきだと結論できる。
$$\frac{M + 1}{M + N + 2} : \frac{N + 1}{M + N + 2}$$
（証明はラプラスの継承則を参照。）
この規則は、例えば次のような助言を与える。「まだコイントスを一度も観察していないなら、表と裏に50対50を割り当てよ」「表を4回見て裏を一度も見ていないなら、次に裏が出る確率を、0ではなく1/6とせよ」「表を150回、裏を75回見たなら、次に表が出る確率をおよそ2/3とせよ」
さて、この規則は、あらゆる種類の可能な環境で非常によく働くわけではない。特に、環境が実際に公平なコインなら、「以前に何を観察したかにかかわらず、次に表または裏が出る確率は50%である」という最大エントロピー予測より優れてはいない。一般に、任意の二値列を予測することに「無料の昼食」はない。ある二値列や列のクラスに、より大きな確率質量または確率密度を割り当てたなら、ほかの二値列から確率を取り去ったはずである。すべての二値列が等しく起こりやすいという事前分布から始めれば、ある特定の無作為抽出でたまたまよい成績を上げるアルゴリズムがあっても、どのアルゴリズムも平均では最大エントロピーよりよい成績を上げるとは、決して予想しない。
一方、すべての二値列が等しく起こりやすいという事前分布から出発すると、人間なら明白なパターンだと考えるものにまったく気づけない。最大エントロピー事前分布から始めた場合、コインが1000回表になり、裏が一度も出なかったのを観察した後でさえ、次の試行を50対50と予測する。最大エントロピー事前分布では、「1000回の表の後に裏」という列は、「1000回の表の後に表」という列とまったく同じ確率だからだ。
ラプラスの継承則が具体化している推論規則は、一般的な低エントロピーのコイントス宇宙で、よりよく働く。特定の知識から出発するわけではなく、コインが表に偏っているとも、裏に偏っているとも仮定しない。コインが表に偏っていれば継承則はそれを学び、裏に偏っていれば観察からすぐにそれを学ぶ。実際に公平なら、継承則は急速に50対50付近の確率へ収束し、最大エントロピー事前分布から始めた場合と比べて、コイントス1回当たりではさほど悪い成績にならない。
ラプラスの継承則よりよくできるだろうか。もちろんできる。環境が表を生成する確率が0.73であり、それを初めから知っていれば、第1回から表を見る確率は73%だと推測できる。しかし、このような非一般的で高度に特定された知識をあらかじめ組み込んでいても、最初の数回のコイントスが将来の生存に非常に重要でない限り、継承則を大幅に上回ることはない。継承則はおそらく、最初の十数回で答えが4分の3程度だと見抜き、数百回後には73%前後だと見抜く。そして、答えが0.73でなかった場合にも対処できる。
ラプラスの継承則は、二値列を推論するための最も汎用的な規則だろうか。明らかに違う。例えば、最初に次の列を見たとしよう。
$$HTHTHTHTHTHTHTHT…$$
すると、次に生成される要素は \(H\) だと、無限ではないにせよ、高い確率で推測するだろう。ラプラスの継承則にはできない種類のパターン、すなわち表と裏の交互出現を認識できるからである。もちろん、このパターン認識能力が役立つのは、そのようなパターンを時に生成する環境だけであり、現実の宇宙は実際にそうする。完璧な交互の組を1000回観察した後、「表」とまったく同じ頻度で「裏」を提示してくる宇宙に放り込まれたなら、パターン認識能力は役に立たないだろう。もっとも、そのような最大エントロピー宇宙では、そもそも最初の列に1000回の完璧な交互出現が現れることは、通常ない。
きわめて汎用的だが、まったく実行不能な推論規則の一つがソロモノフ帰納である。これは普遍事前分布の一種で、計算可能なあらゆる列（または列上の計算可能な確率分布）に、アルゴリズム的単純さに比例する確率、すなわち、その計算を指定するために必要なプログラムの大きさの指数に反比例する確率を割り当てる。ソロモノフ帰納は、簡潔なプログラムで生成できるどの列でも観察から学習できる。ただし、普遍計算機の選択に対して相対的であり、その選択が必要な証拠量や誤りの数に与える影響は、有界な範囲にとどまる。もちろんソロモノフ帰納器は、アルゴリズム的に圧縮できる列のほうが起こりにくいという、構造を避ける仮想的な宇宙では、最大エントロピー事前分布より少しだけ、しかし大幅ではなく、悪い成績になるだろう。幸い、私たちはそのような宇宙には住んでいない。
そうであれば、十分に大きな節目に注目したとき、汎用性の低い推論規則から高い推論規則への非形式的な順序が見えることを認めないのは、ひねくれているように思える。後者ほど、現実世界が生成しそうな、ますます幅広く複雑な環境でよく働く。
各試行で表に0.73の確率を常に割り当てる規則は、それぞれの試行が独立に0.73の確率で表になる環境では最適に働く。
最初の数百回のコイントスからパターンを見る機会を与えれば、ラプラスの継承則もこれと同じくらいうまく働き始める。さらに継承則は、それぞれの試行が0.07の確率で表になる宇宙など、ほかの多くの低エントロピー宇宙でもよく働く。
人間はさらに汎用的で、\(HTTHTTHTTHTT\) のようなパターンも見つけられる。この場合、ラプラスの継承則は各試行が表になる確率を1/3とする方向に収束するだけだが、人間は単純な時間的過程が働いており、その後の各試行をほぼ確実に予測できるのだと、確信を強めていく。
誰かが超計算装置を偶然手に入れ、それでソロモノフ帰納器を作ったなら、その帰納器は人間より汎用的になる。帰納器が観察できるデータ量より大幅に短いプログラム的記述を持つ、どの環境でもよく働くだろう。
環境が実際に最大エントロピーであっても、これらの予測器が最大エントロピー予測より大幅に悪い成績を収める必要はない。無料の昼食ではないかもしれないが、仮想的な無作為宇宙の基準で見ても、さほど高価ではない。もっとも、私たちは最大エントロピー宇宙に住んでおらず、そのような宇宙でどれほど成績が悪くなるかを気にする必要もないので、何にとっても重要ではない。
この点についての以前の非形式的な議論は、ノーフリーランチ定理がしばしば無関係である理由にある。
知能が問題解決アルゴリズムなら、特定の問題との関係でしか理解できない。
ある問題は、ほかの問題より汎用的である。これは、すべての問題の下位クラスを対等に扱う最大エントロピー事前分布との関係ではなく、私たちが実際に住む低エントロピー宇宙との関係で言える。この宇宙では、100万回の表を観察した列は、次の試行でTよりHを生成する見込みのほうが大きい。同じく、低エントロピー宇宙で出会う問題クラスとの関係では、「この列を生成する単純な計算を見つけよ」は人間より汎用的であり、人間は「この列における表または裏の頻度を見つけよ」より汎用的である。
人間の知能は、特定の問題クラスとの関係で理解できる問題解決アルゴリズムであり、その問題クラスは実用上、きわめて広い可能性がある。
もっと具体的には、私たちが知るすべての知的システムは高度に特化しているという経験的事実から、これを観察できる。現在作られているAIの知能は、囲碁や、画像を既知の1万カテゴリーに分類することなど、きわめて狭い課題に極端に特化している。タコの知能は、タコであるという問題に特化している。人間の知能は、人間であるという問題に特化している。
人間が解く問題は、タコが解く問題よりはるかに汎用的である。だから私たちは月を歩けるが、タコにはできない。私たちは絶対的に汎用なわけではない。月はなお、地球と何かしらの共通点を持つ。科学的帰納は月でも働く。月へ行った途端、次に観察される電子の電荷が、それまで観察された電荷と何の関係もなくなるわけではない。そうなる別宇宙へ人間を投げ込めば、人間は機能しなくなる。しかし、人間が解く問題は、酸素のある環境から真空へ移れるほどには汎用的である。
作られたばかりの人間の脳をタコの体に入れ、海底で生きさせたら、何が起きるだろう。その脳は、8本脚の体の使い方さえ学べるだろうか。数日より長く生き延びられるだろうか。……脳には、つかめる手、吸える口、物体を視覚的に追うために使える動く頭に載った目（前庭動眼反射）を備えた体について、ハードコードされた概念がある。人間の知能が人間の体を制御し始めるには、こうした先入観が必要である。
この意味で、人間の運動皮質は、各試行で常に0.73の確率で表を予測し、代わりに0.07を予測することを学べない推論規則に似ているのかもしれない。一方で、72回の表と26回の裏をあらかじめ観察した状態から始まり、その比率に偏っているものの、さらに1000回観察すれば最終的に0.07も学習できるラプラス帰納器に近いのかもしれない。
これは経験的な問いだが、なぜそれが大いに関係するのかは分からない。人間の運動皮質は、事前知識によって素早く始動できるだけでなく、帰納的な範囲が狭く、それ以上を学べないという意味で、過度に特化している可能性はある。祖先の環境では、私たちはタコの体に無作為に放り込まれることなどなかったからだ。しかし、だから何だというのだろう。人間を操作卓の前に座らせ、タコのような奇妙なロボットを与えて制御方法を学ばせれば、人間の意識的な学習能力全体は、この点で生の運動皮質よりうまくやると予想する。人間は単純な操作装置と知能全体を使うことで、祖先の環境には存在しなかった自動車の運転や飛行機の操縦も学べる。
また、人間の運動皮質が可能性の限界だと考える理由もない。もし私たちが時々、無作為に生成された体へ放り込まれてきたなら、タコの体にも適応できる運動皮質をすでに持っていたと予想する。MotorCortex Zeroなら、無作為に生成された体の制御について3日間自己対戦し、そのクラスに属するどの体でも急速に学べるようになるかもしれない。あるいは、Kerasの使用を許された人間なら、機械学習を用いてタコの腕を制御する方法を見つけられるだろう。最後の例が、仮想的なシードAIの場合に最も近い。
経験的な証拠は比較的乏しいが、分かっている限りでは、人間文化という養育環境の外で育った子どもは、人間らしい知能をまったく発達させない。幼い頃から野外で育った野生児は、事実上、動物となり、文明へ戻っても人間らしい行動や言語を習得できなくなる。
人間の視覚野は、視覚入力がなければうまく発達しない。これは、視覚野が単純な白紙であり、視覚を処理するための情報はすべて環境に保存され、視覚野は白紙からそれに適応するだけだ、という意味ではない。もしそうなら、視覚野はタコの目も容易に制御できると予想される。視覚野が視覚入力を必要とするのは、進化生物学の論理による。Xを環境上の定数にすれば、その種はXの存在を前提とする遺伝子を獲得しやすい。そうしない理由がないからだ。予想される結果は、視覚野には、一般的な大脳皮質より視覚処理に適したものにする大量の遺伝的複雑性が含まれる一方、その複雑性の一部は、幼少期に視覚入力を受けなければ正しく展開しない、というものだろう。
しかし、祖先の環境で子どもの10%が完全な暗闇の中で育ち、成人になって初めて光を見ていたなら、視覚野が正しく配線されるために視覚入力を必要としないよう進化できた可能性は、きわめて高いと思われる。例えば網膜が単純な幻視図形を送り、システムの残りの部分がそれらの図形を検出できるよう配線される、といった仕組みに進化できたかもしれない。
人間の子どもは、ほかの人間に囲まれて育つのが常なので、この環境には習得すべき情報が含まれると仮定する形で、基本的な知的制御過程を構築するよう人間が進化していても、さほど驚くべきことではない。だからといって、環境にどれだけの情報が「保存」されているかや、知的制御過程は遺伝的に保存するには情報量が多すぎる、ということまでは推論できない。進化にはそれを解く理由がなかったので、進化した解決策がないことから、そのような解決策が不可能だったとは推論できない。
また、進化した解決策が存在しなくても、知的に設計された解決策を作れないという意味にはならない。自然選択は、鋼鉄の骨や車輪の脚を持つ動物を作らなかった。より小さな変化を積み重ねる容易な経路がなく、そのような設計は進化しにくいからだ。それでも人間の技術者は、超高層建築や自動車などを作る。
人間の間では、囲碁の技法は膨大な過去の対局記録とほかの人間の中に保存されている。将来の囲碁の達人は、技法全体を一から発明するのではなく、子どもの頃から自分より優れた達人と囲碁を打って育つ。どれほど才能のある人間でも、打ち方のすべてを独力で再発明しながら、初段のプロとの競技対局に勝てるとは思わないだろう。
しかしAlphaGoは、実際に人間の達人と対局する必要はなく、保存された膨大な対局記録で初期化された。
そして2年もたたないうちに、AlphaGo Zeroは、計算済みの特徴量という形の「本能」を一切持たない、はるかに単純なアーキテクチャを使い、一から3日間の自己対戦を行って、人間を大幅に上回る水準の囲碁を自力で習得した。
ここで、AlphaGo Zeroが解く問題と、人間が解くはるかに汎用的な問題との間には、鋭く絶対的な区別があると仮定することはできるかもしれない。その区別によって、囲碁に関する私たちの膨大な知識体系は自己完結的な自己学習システムに追い越され得るが、私たちの汎用的な認知的問題解決能力は、初期化用データベースへ圧縮することも、自己対戦で教えることもできない、と考えるのである。しかし、なぜそう仮定するのだろう。人間文明は、ある種の自己対戦を通じて自らを教育した。宇宙人から学んだわけではない。さらに要点を言えば、ラプラスの継承則、AlphaGo Zero、人間、ソロモノフ帰納器の間に、鋭く絶対的な区別があるようには見えない。それらは、順により汎用的な問題クラスを学習するだけだ。AlphaGo Zeroが囲碁についての人類の全知識を軽々と追い越せるなら、汎用人工知能(AGI)版のZeroが、うまく推論する方法、科学的調査を行う方法、オンラインの論文やデータベースのデータから学ぶ方法について、人間の理解を軽々と追い越せないと考える強い理由は見当たらない。
この点には反論できるかもしれないが、私の知る限り、まだ反論はなされていない。そして、私の知る計算機科学のどの定理によっても、確実に決着してはいない。
知能が、特定の感覚運動様式、特定の環境、特定の育ち方、解くべき特定の問題と根本的に結びついているなら、脳だけを調整してエージェントの知能をいくらでも高められるとは期待できない。ベルトコンベアを速くするだけでは、工場の生産ラインの処理量を増やせないのと同じだ。知能の拡大は、心、その感覚運動様式、環境の共進化によってしか生じ得ない。
なぜこのどれかが問題になるのか、私には明らかでない。AIがタコの体の使い方を学ぶのに3日かかるとしよう。それが何だというのだろう。
つまり、広く汎用的な事前分布から特定の問題へ移るには「ある量」の経験が必要だという数学的事実については、意見が一致している。しかしそれは、実用上重要な問題に必要な経験量が大きいことや、3日ではなく30年かかることを意味しない。「ある量のXが必要であることが証明された」から、「したがって、大量のXが必要である」や「したがって、物事を大幅に遅らせるほど大量のXが必要である」へ、何気なく飛躍することはできない。（無害な超新星の誤謬：有界だから無害も参照。）
脳の歯車が問題解決能力を決定する要因なら、通常の人間の知能範囲から大きく外れたIQを持つごく少数の人間は、通常の人生の範囲を大きく外れた人生を送り、以前は解けないと考えられていた問題を解き、世界を乗っ取るはずだ。人間より賢いAIがそうする、と一部の人々が恐れるのと同じように。
「フォン・ノイマン(von Neumann)？ ニュートン(Newton)？ アインシュタイン(Einstein)？」――スコット・アーロンソン
さらに重要なのは、アインシュタインらの脳が、人間の脳の100倍大きかったわけでも、1万倍速かったわけでもないことだ。有性生殖する種で起きる有性組換えの論理から、アインシュタインらが、標準的な人間の脳には存在しない大量の新規ソフトウェアを持っていたはずはない。（つまり、必要な部品が10個あり、それぞれが種の50%にしか存在しない適応は、完全に組み上がるのが1000回に1回にすぎず、構成遺伝子に明確な選択勾配を与えるほど頻繁ではない。相互依存する複雑な機構は、有性生殖する種では必然的に普遍的である。ただし、ときには完全な組み立てに失敗することはある。X-MENのように、まったく新しい複雑な能力を丸ごと備えた「ミュータント」が生じるわけではない。）
心の設計空間の広大さを考えれば、人間は比喩的に、全員が一つのごく小さな点へ圧縮されている。私たちは皆、ボンネットの下で同じエンジンを動かす、同じメーカー、同じ型式の車であり、大きさや装飾が少し違い、ときには部品が欠けているにすぎない。複雑な適応全体が異なると考えられるほかの霊長類と比べてさえ、私たちはチンパンジーと遺伝物質の95%を共有している。人間同士のばらつきから知能の可能なばらつきの限界が定まるわけではない。ここで説明されていない別の仮定を持ち込まない限りは。
例えばゲーデル(Gödel)に基づく議論を使い、AGIは不可能だと主張する人への標準的な返答は、「その議論はなぜ人間まで排除しないのか」と問うことである。
同じく、人間を超える汎用知能の可能性に反対する議論を用いる人が答えなければならない標準的な問いは、「その議論は、人間がチンパンジーより実用上はるかに高い知的能力を示すことまで、なぜ排除しないのか」である。
この場合に即して言えば、「最も賢いチンパンジーがロケットを作っていないという事実から、どの人間も月を歩けないと推論できないのはなぜか」と問うことになる。
どんな人間も、ジョン・フォン・ノイマン(John von Neumann)でさえ、囲碁の打ち方を独力で再発明し、その後、世界最高の棋士たちを圧倒することはできなかった。AlphaGo Zeroは、それを3日で成し遂げた。一般に、「人間のばらつきの限界から認知能力の限界を推論できる」という主張が誤りなのは明らかだ。この規則には、一般には偽だが、人間を超えるAGIを禁じる特別な場合だけ真になるというのなら、その特別な場合を明示する必要がある。
知能は超能力ではない。並外れた知能があるだけで、状況を支配する力がそれに比例して並外れたものになるわけではない。
……と、ホモ・サピエンスが言った。自分より知能の低い地球上のどの種の生物にも、仕組みはおろか能力さえまったく理解できない、無数の強力な人工物に囲まれながら。
1万年前に大きな可能性を持って生まれた人間は、複雑性の低い環境で育ち、おそらく5000語未満の単一言語を話し、読み書きを教えられることもなく、限られた量の知識と、わずかな認知的課題にしか触れなかっただろう。現代の大半の人間にとって、状況はいくらかましだ。しかし現在、環境が与える機会が私たちの認知的可能性を上回っていることを示すものはない。
これは、100年後の技術も今日より進歩していないはずだ、という意味なのだろうか。そうでないなら、私たちはどの意味で、環境にある可能な機会をすべて活用済みなのだろう。
機会は順に一つずつしか利用できないので、今日の技術が提供できるのは今日可能な進歩だけだ、ということだろうか。だとすれば、より強力な知能がそれらをはるかに速く通過し、機会を急速に積み上げられないのはなぜか。
ジャングルで育った賢い人間は、毛のない類人猿にすぎない。同じように、人間を超える脳を持つAIを人間の体に入れ、現代世界へ放り込んでも、現代の賢い人間を超える能力は、おそらく発達させないだろう。もしできるなら、非常に高いIQを持つ人間がすでに、それに比例して並外れた個人的成果を示しているはずだ。環境を並外れた水準で制御し、未解決の大問題を解いているはずだが、実際にはそうなっていない。
インターネットを食べ尽くせないのか。株式市場を食べ尽くせないのか。タンパク質折りたたみ問題を解き、任意の生物学的システムを配備できないのか。私たちの100万倍の速さで考えても、何一つ成し遂げられないのか。最も賢い人間もジョン・フォン・ノイマン以上には目覚ましい存在でなかった、という観察から、このすべてを推論するのだろうか。
ここに強いベイズ的証拠があるとは思えない。ジョン・フォン・ノイマンの100倍の大きさの脳を持ち、100万倍の速さで考え、数学的な部分だけでなく人間のあらゆる認知的才能を限界まで伸ばし、さらに超越したなら、実用上重要なことを大量に成し遂げられる一方、その世界にいるジョン・フォン・ノイマン相当の人物は、私たちが見た人物以上には目覚ましくない、という世界は容易に想像できる。では、ジョン・フォン・ノイマンを観察したことから、私たちがそのような世界にいないと、どう推論できるのか。
人間の最大値を見て認知の限界を推論する規則が、AlphaGo Zeroには通用しないと分かっている。それなのに、「株式市場を食べ尽くした人間はいないから、AGIにも株式市場を食べ尽くせない」と推論するときには、なぜ通用するのだろう。
しかし、何千年もの間に知識を蓄積し、外部の知的過程を発達させてきた、この何十億もの脳は、一つのシステム、すなわち文明を実装している。文明はやがて、単一の人間より高い知能を持つ人工の脳を生み出すかもしれない。人間より賢いAIを作るのは、あなたでも私でも個人でもなく、文明全体だ。無数の人間が、ほとんど想像もつかない時間規模で関与する過程である。生物学的知能よりはるかに多くの、書籍、コンピューター、数学、科学、インターネットといった外部化された知能が関与する過程だ。……
何世紀もかけて共同で開発される未来の人間より賢いAIには、自分自身より優れたAIを開発する能力があるだろうか。ない。私たちの誰にもできないのと同じだ。
前提は、特定の大きさと構成を持ち、特定の種類のソフトウェアを動かす脳（人間の脳）が、問題X（この場合は「AGIを作る」こと）を解けるのは、一定の集団規模Nで協力し、一定時間稼働し、外部の認知的補助器具をZだけ作った場合に限る、というものだ。なるほど。人間は、自然選択によってAI構築問題に特に適応したわけではない。それでは、より大きな脳を持ち、より速く動き、それほど狂っていないソフトウェアを使い、高速かつプログラム可能で、高帯域幅で直接接続できる認知ハードウェアを内部に備え、さらに人間の脳とは違ってコンピュータープログラミングに特化しているかもしれないAGIが、正味で人間文明より多くを成し遂げられないのはなぜか。囲碁に取り組む人間文明は、膨大な思考時間、並列探索、棋譜という認知的補助器具を投入した。それでもAlphaGo Zeroは3日でそれを一気に追い越した、という具合である。
この議論をさらに明確にしよう。
「すべての問題Xについて、人間文明がXに多大な努力を注ぎWまで到達したなら、単一のエージェンシーが独力でWより大幅に先へ進むことはできない」という前提から始めれば、最初のAGIが作られた直後に、単一のAGIが新たなAGIを作ることはできない、と演繹できる。
しかし、この前提が明らかに誤りであることは、ディープ・ブルーさえ証明している。この一般化には、一般には偽だが、「チェスに勝つ」問題については言えないことを「AGIを作る」問題についてだけ述べる、真の特別な場合があるというのだろうか。それなら、その特別な場合とは何であり、なぜ信じるべきなのか。
ここで関係するもう一つの例が「カスパロフ対世界」の対局である。世界最高の棋士ガルリ・カスパロフ(Garry Kasparov)は、4人のチェス・マスターに率いられ、オンライン掲示板で連携する数千人の棋士を相手に、1局のチェスを戦った。最後にはカスパロフの脳が、数千倍もの脳組織を相手に勝った。これは、ノードを単純に並列化したとき、人間の規模拡大が非効率であることを示している。おそらく、並べられるはずの脳同士を隔てる人間の発話が、非効率かつ低帯域だからだ。1000人の脳による並列作業を破るために、人間1人の脳の1000倍の処理能力は必要ないことを示している。それは、その並列配列の構成員より少し才能と訓練のある人間1人でさえ可能な種類のことだ。人間はしばしば、効率よく集合できない。
しかし未来のAIは、人間や、これまで私たちが生み出したほかの知的システムと同じく、私たちの文明に貢献する。そして文明は、そのAIを使って、作り出すAIの能力をさらに拡大し続けるだろう。
これは、「AIがAI能力を認知的に向上させられる量はわずかである」という前提を受け入れ、「AI能力の増加は文明全体に分散した過程になる」という結論に到達している。結論が前提から従うかは定かでないが、何よりも、前の議論によってその前提が確立されたとは思わない。言い換えれば、この個別の議論は、「AIはAIの能力を大きく改善できない」という主張への新しい根拠を何も加えていない。それを前提として、さらに推論しようとしているだけだ。
私たちの問題解決能力（特にAIを設計する能力）は、すでに絶えず向上している。これらの能力は主として私たちの生物学的な脳にあるのではなく、外部の共同的な道具にあるからだ。再帰的なループは長い間働いており、「より優れた脳」の登場も、これを質的には変えない。これまでの知能強化技術が変えなかったのと同じである。
Arbitalの無害な超新星の誤謬のページから引用しよう。
- 前例がある、ゆえに無害：「実のところ、超新星はしばらく前から存在している。周期表の前半にある元素を融合させて『超』大量の熱を生む装置はすでにあり、熱核兵器と呼ばれている。社会は、既存の熱核兵器を規制し、テロリストの手に渡るのを防ぐ能力を十分に示してきた。超新星にも同じことが当てはまらない理由はない」。（非中心的誤謬／連続体の誤謬：超新星を水素爆弾と同じ連続体上に置いても、似た戦略で扱えるようにはならない。また、超新星と水素爆弾の両方を含むカテゴリーを見つけても、そうはならない。）
私たちの脳自体が、AI設計過程における重要なボトルネックだったことは一度もない。
驚くべき断言だ。仮想的なアップロード環境で、AI研究者の脳を1000倍高速化できるとしよう。新しい物理学や生物学の実験は許可しないが、仮想世界内のコンピューターにはアクセスできる。AI開発にかかる外界の実時間は変わらない、と考えるべきなのだろうか。私なら、次のTensorFlowははるかに早く登場すると予想する。高速化された研究者が、実験をもっと早く完了させ、より少ない計算能力で済ませる必要があるため、個々のAI実験の多くが小規模になることを考慮してもだ。スケーリング上の損失によって高速化の効果が完全に消えるわけではないだろう。現在の研究環境に1000倍速いCPUを追加しても、進歩はおそらく1000倍ではなく、せいぜい5倍にしかならないのと同じである。同じく、高速化した脳がすべてあっても、進歩は1000倍でなく50倍にしかならないかもしれない。それでも、はるかに速くなると予想する。
では、AIについての理解を築くうえで、私たちはどの意味で、人間の脳の速度をボトルネックとしていないのだろうか。
決定的なのは、文明レベルの知能改善ループが、時間とともに問題解決能力を測定上は線形にしか進歩させてこなかったことである。
私は明らかにカーツワイル主義者ではないが、それでも、過去1万年についてこの断言をするのは奇妙だと異議を唱えざるを得ない。
Xを再帰的に改善すれば、数学的にはXが指数関数的に成長するのではないか？ いや、違う。要するに、複雑な現実世界のシステムはどれも、`X(t + 1) = X(t) * a, a > 1)` としてモデル化できないからだ。
これは実に奇妙な断言に思える。世界GDPを一目見ただけで反証される。なお、これは孤立した観察ではあり得ない。世界GDPに必要な入力はどれも歩調を合わせており、歩調を合わせていない入力は、少なくとも近年の歴史では、経済的に迂回されてきたことも意味するからだ。
知的システムが自らの知能を最適化し始めた瞬間に「爆発」が起こるかどうかを、推測する必要はない。実際のところ、大半のシステムは再帰的に自己改善している。私たちはそれらに囲まれている。……メカトロニクスは再帰的に自己改善している。より優れた製造ロボットは、より優れた製造ロボットを製造できる。軍事帝国は再帰的に自己拡大する。帝国が大きいほど、さらに拡大するための軍事的手段も大きくなる。個人投資は再帰的に自己改善する。お金が多いほど、さらに多くのお金を稼げる。
「再帰的自己改善」を、単に「少なくとも一つの正のループを含む因果過程」という意味に定義するなら、そのようなものが世界にあふれているのは事実だ。それでも、あるフィードバックループがほかよりはるかに速く進むことは、区別する価値があるだろう。例えば、核兵器の中の中性子の連鎖や、仮想的なシードAIのトランジスター内で起きる情報の連鎖である。これは、無害な超新星の誤謬における「前例がある、ゆえに無害」の、もう一つの例に思える。
ソフトウェアは、経済や生活という大きな過程の一つの歯車にすぎない。脳が、人間文化という大きな過程の一つの歯車にすぎないのと同じだ。この文脈は、ソフトウェアが持ち得る有用性の上限に厳しい制約を課す。環境が、たとえ人間を超える脳を与えられても、個人がどこまで賢くなれるかに厳しい制約を課すのと同じである。
「チンパンジーは、生態系という大きな過程の一つの歯車にすぎない。現在の生態系が生み出すチンパンジー用の食料よりはるかに速く、超チンパンジー経済を拡大できるような、奇妙な超チンパンジーを想定する必要がどこにあるのか」
具体的に、逆タンパク質構造予測を解けるほど賢いエージェント、つまり自らの生物機構と、物理法則が許すだけの量のポスト生物的な分子機械を作れるエージェントを考えよう。それは、どの意味で、人間文化の残りが生み出す経済的産物の大半に依存し続けるのだろう。なぜフォン・ノイマン・マシンを作り始めないのか。
文脈が課す厳しい限界に加え、システムの一部が再帰的に自己改善する能力を持っていたとしても、システムのほかの部分が必然的にボトルネックとして働き始める。再帰的自己改善に対抗する過程が生じ、それを押しつぶす。
賢いエージェントは意図的にこうしたボトルネックを迂回しようとし、しばしば成功する。だから世界経済は、1200年に小麦を使い果たすことなく、指数関数的な速さで成長し続けている。世界経済は、……という対抗過程にさえかかわらず、指数関数的な速さで成長し続けているのだが、この話を政治へそらすのはやめておこう。
もちろん、どれほど賢い心も光より速く拡大することはできず、物理法則の性質について私たちの理解が少しでも正しければ、原子と負エントロピーを使い果たすことが、指数関数的成長のボトルネックになる。しかし、だから心配する理由はない、と言うのは、無害な超新星の誤謬の「有界だから無害」版である。超新星は無限に熱いわけではないが、とてつもなく熱い。難燃性のNomex製ジャンプスーツを着るだけで生き延びることはできない。
知能について言えば、システム間の通信が、基礎となるモジュールの改善を妨げるブレーキになる。より賢い部品を持つ脳は、それらを協調させるのが難しくなる。
これは、なぜ人間がチンパンジーよりはるかに賢くなれないことまで証明しないのか。
進化の記録から、人間の脳を支配していた規模拡大の法則について何を推論できるかは、複雑な話題である。この論点については、認知への投資の収益について私が半技術的に論じた文章の第3.1節「脳サイズの収益」（35～39ページ）を参照してほしい。そこでの結論は、人類史の過去数百万年にわたり平衡状態での脳サイズが増えたことと、集団遺伝学の基本論理から、この期間には、時間が進み、おそらく神経の「ソフトウェア」が高度になるにつれて、脳サイズの限界収益が増加していたと推論できる、というものだ。また、人間の脳だけが可能な認知計算基盤ではないことも指摘している。
非常にIQの高い人ほど、ある種の精神疾患を患いやすいのは、おそらく偶然ではない。
非常にIQの高いチンパンジーは、典型的なチンパンジーより、一部の神経疾患を患いやすいと予想する。これは、チンパンジーが知能の究極的な上限に近づいていて、それ以上は正気を失わずに拡大できない、という意味ではない。どんな生物学的システムでも、祖先にとって典型的でなかった条件下で動かそうとすれば、故障しやすくなるという意味だ。非常にIQの高い人間は、自然選択が通常の動作条件として選んできた典型的な人間ではない。
それでも、現代の科学的進歩は測定上、線形である。私は2012年に「シンギュラリティは来ない」という論考で、この現象を詳しく論じた。1950～2000年の物理学で、1900～1950年より大きな進歩を遂げたわけではない。議論の余地はあるが、ほぼ同じくらいだった。今日の数学は、1920年より大幅に速く進歩してはいない。医学は何十年もの間、実質的にすべての指標で線形の進歩を続けている。
近年の歴史については、おおむね同意する。私はこれを、人間の官僚機構が自ら足を撃ち抜いている結果だと考えがちであり、単一の統合されたエージェントの内部に同じことが当てはまるとは予想しない。
物理学という有限の領域で、手の届く果実が尽きつつある可能性はある。しかしこれは、現在の物質技術が、可能な物質技術の限界と競えるという意味ではない。その限界には少なくとも、生化学を使いこなせる範囲で迅速に製造可能な、あらゆる生物・機械ハイブリッドシステムが含まれるだろう。
科学知識が拡大するにつれて、教育と訓練に投じなければならない時間と労力は増え、個々の研究者の探究分野は、ますます狭くなる。
私たちの脳は、すべてを収められるようには拡大しない。そして新しい人間が生まれるたび、知識をコピー・アンド・ペーストするのではなく、一からやり直さなければならない。互いに叫び合う柔らかく小さな脳から一般化して、任意の認知計算基盤の規模拡大の法則を推論できる、と断言できるようには思えない。
知能は状況に依存する。汎用知能というものは存在しない。脳は、体、環境、ほかの人間、文化全体を含む、より大きなシステムの一部である。
チンパンジーにも当てはまる。それでも人間がチンパンジーよりはるかに賢くなることを妨げなかった。
真空中に存在するシステムはない。個々の知能は、存在する文脈と環境によって、常に定義され、制限される。
ネズミにも当てはまる。それでも人間がネズミよりはるかに賢くなることを妨げなかった。
上の議論の一部は、おそらく不公平だが私なりに要約すれば、「人間がタコより絶対的に賢いと言える意味はない」というものだった。なるほど。しかし実用上、私たちは核兵器を持ち、タコたちは持っていない。人間とアライメントされていないAGIとの間に、これと同様の実用的な能力差が生じることは、正当に懸念すべき問題だと思える。それを知能の差と呼びたくないなら、好きなように呼べばよい。
現在、私たちの知能のボトルネックとして働いているのは、脳ではなく環境である。
現在の世界について、脳を10倍高速化しても技術進歩の速度は変わらない、という結論を正当化する観察が何なのか、私には分からない。
人間の知能は大部分が外部化されており、脳ではなく文明の中にある。私たちは、自らの道具そのものである。脳は、私たち自身よりはるかに大きな認知システムのモジュールである。
この事実の何が、自ら搭載する認知的道具と、連続的かつ高帯域幅でやり取りできるAGIの進歩が遅くなることを意味するのだろう。
すでに自己改善しており、長い間そうしてきたシステムである。
「自己改善」を「あらゆる正のフィードバックループ」と定義し直せば、そのとおりである。核分裂兵器も、中性子がより多くの中性子の放出を引き起こす正のフィードバックループである。このシステムの要素は、人間のニューロンが発火するよりはるかに短い時間尺度で相互作用するため、その過程全体も、私たち自身の主観的な時間尺度ではかなり速く進む。作動したとき、隣に立つことは勧めない。
再帰的に自己改善するシステムは、存在する広い文脈から生じる偶発的なボトルネック、収穫逓減、対抗反応のため、実際には指数関数的な進歩を達成できない。経験的には、線形またはS字型の改善を示す傾向がある。
ほとんどどの時間尺度でも、世界GDPのグラフによって反証される。
特に、科学的進歩がそうである。科学は、私たちが観察できるものの中で、再帰的に自己改善するAIに最も近いシステムかもしれない。
私たちはたいてい、単に科学を間違ったやり方で行っているだけだと思うが、それははるかに長い議論になるだろう。
Tシャツに収まる反論なら、「チンパンジーがそうでなかったのと同じく、なぜ私たちが『科学をうまく行うこと』の上限にいると考えるのか」といったものだ。
再帰的な知能の拡大は、文明の水準ですでに起きている。AIの時代にも続き、おおむね線形の速度で進むだろう。
これが真実だったとしても、提示された議論によって確立されたとは思わない。
この論争の多くは以前、私とロビン・ハンソン(Robin Hanson)による「AI Foom Debate」で再演されている。この論争では、私の側に広く反対していたロビン・ハンソンでさえ、あらゆるシステムの進歩が、おおむね線形の速度に制限されるという考えを聞けば、せき込み出すだろうと思う。
さらに読みたい人には、資源の増加と最適化の進展に応じた認知システムの規模拡大について、現在の観察から何が分かるかを論じた私の半技術的な論考「知能爆発のミクロ経済学」を勧める。