強いAI(Strong AI)が今週の話題になっているようだ。『Mother Jones』のケビン・ドラム(Kevin Drum)は、2040年までにAIが人間と同じくらい賢くなると考えている。『Forbes』のカール・スミス(Karl Smith)と、『The Economist』の「M.S.」も、この時期についてドラムとおおむね同意しているようだ。世界で最もよく読まれているコンピューター科学誌の編集長モシェ・ヴァルディ(Moshe Vardi)は、「2045年までに機械は、人間ができる仕事のすべてでないとしても、非常に大きな割合を行えるようになる」と予測している。
しかし、AIの予測は、多くの人が考えるより難しい。
この難しさを探るため、機械知能研究所(Machine Intelligence Research Institute, MIRI)の研究者エリエザー・ユドコウスキー(Eliezer Yudkowsky)と、優れた『Quantum Computing Since Democritus』の著者であるMITのコンピューター科学者スコット・アーロンソン(Scott Aaronson)が2009年に行ったbloggingheads.tvでの対話から始めよう。対話の序盤で、ユドコウスキーは次のように尋ねた。
私には、［10年から100年の］ある時点で、自分自身を改善できるほど賢いAIを作り、［そのAIは］知能を「FOOM」と急上昇させ、利用できる改善経路を使い尽くす頃には、私たち［と比べて］「超知能」になることが、かなり明白に思える。あなたも、これは明白だと感じますか。
アーロンソンはこう答えた。
私たちより賢いコンピューターを作れる……そのコンピューターが、さらに賢いコンピューターを作れる……どのような知能が可能かという物理的限界へ達するまで続く……私たちとアリの関係のようなものを作れる、という考えは、すべて物理法則と両立する……そして、原理上、最終的に実現できない理由を私は見つけられない……。
主に意見が違うのは、時間尺度だ……。［AIまで］数千年というほうが、私にはより妥当に思える。
数十年と「数千年」という二つの推定は、政策上の含意がまったく異なる。
今後数十年のうちに、AIが人間に代わって歴史の舵を握る可能性が十分あるなら、私たちは腕まくりをし、この出来事が負でなく正の影響をもたらすよう確かめるため、取り組み始めたほうがよい。しかし、AIが数千年先だとかなり確信できるなら、今のところAIを心配する必要はなく、ほかの世界的優先事項へ集中すべきである。したがって、「AIはいつ作られるのか」は、私たちの種にとって情報価値の高い問いだと思われる。
これまでに行われた予測研究を少し振り返り、AIがいつ作られそうかについて、どのような結論を引き出せるか見てみよう。
AI予測の難しさ
専門家からの意見聴取
専門家へ尋ねればよいのだろうか。天文学者は、何十年、何百年先でさえ、日食や月食をかなりうまく予測できる。技術発展は天文学より複雑になりがちだが、それでも専門家なら、AIが作られると予想できる年の範囲を示せるかもしれない。この方法は専門家意見聴取(expert elicitation)と呼ばれる。
AIやコンピューター科学に取り組む専門家へ、AIの時期について調査した人は複数いる。残念ながら、その調査の大半はかなり強い標本抽出バイアスを抱え、私たちの目的にはあまり役立たない。((第一に、Sandberg & Bostrom (2011)は、人間水準の機械知能に関する2011年の学術会議で、参加者35人のAI時期予測を集めた。「世界規模の破局によって進歩が止まらない」と仮定し、AIが作られている確率が10%、50%、90%となるのは何年までだと思うかを尋ねた。35人中5人は、人間水準AIが決して実現しないことに、程度の異なる確信を示した。残る30人の見解から計算した中央値は、「確率10%」が2028年、「確率50%」が2050年、「確率90%」が2150年だった。第二に、Baum et al. (2011)は、機械知能に関する2009年の学術会議で21人を調査し、Sandberg & Bostrom (2011)と似た推定を得た。第三に、Kruel (2012)は2013年5月7日までに、電子メールで34人へAIの時期とリスクについて聞いた。そのうち33人は、AIまたはコンピューター科学の何らかの「専門家」とみなせた（リチャード・キャリアー(Richard Carrier)は歴史家である）。33人の専門家のうち19人が、AIの時期に関する次の質問へ、完全な定量的回答を示した。「有益な政治的・経済的発展が続き、世界規模の破局によって進歩が止まらないと仮定した場合、科学、数学、工学、プログラミングで人間とおおむね同程度（またはそれ以上、おそらく能力にむらはある）の人工知能が開発される確率を10%／50%／90%とするのは、何年までか」。この19人について、10%、50%、90%の推定中央値は、それぞれ2025年、2035年、2070年だった（表計算シートはこちら）。第四に、Bainbridge (2005)は、「ナノ・バイオ・情報・認知」技術の融合に関する3件の会議で参加者を調べ、「人間の脳と機能的に同等な機械を作るための計算能力と科学知識が存在する」年の推定中央値として2085年を得た。しかし、この四つの調査の参加者には、人間水準AIの熱心な支持者が不釣り合いに多く、重大な標本抽出バイアスが生じている。Armstrong & Sotala (2012)で論じられたAI予測のデータベースも、おそらく同様の問題を抱える。AIを遠い将来でなく目前のものと考える人のほうが、公にAIを予測する可能性が高かった。))
そもそも、専門家がAI予測を得意だと期待すべきだろうか。Armstrong & Sotala (2012)が指摘するように、専門家の成績に関する数十年の研究((Shanteau (1992)、Kahneman and Klein (2009)。))は、AIが初めて作られる時期の予測こそ、専門家の成績が悪いと予想すべき種類の課題だと示唆する。例えば、フィードバックを得られず、入力刺激が静的でなく動的だからである。Muehlhauser & Salamon (2013)も、「AIがいつ作られるかについて直感を持っているなら、おそらく間違っている」と付け加える。
とはいえ、Michie (1973)で調査された専門家は、ほかの調査より代表性のある標本であり((別の調査は、2006年のAI@50会議で行われた。「コンピューターが人間知能のあらゆる側面をシミュレートできるのはいつか」と尋ねられた参加者の41%は「50年以上先」、別の41%は「決してない」と答えた。残念ながら、参加者の多くはAI専門家でなく、会議へ参加していた大学生だった。さらに、質問の表現がバイアスを生んだ可能性もある。一部の参加者は、「人間知能のあらゆる側面」に意識を含むと解釈し、機械が意識を持ち得るという考えへ哲学的に反対する人も多いため、「決してない」という回答が多かった可能性がある。代わりに「AIがほぼすべての仕事で人間に取って代わるのはいつか」と尋ねていれば、「決してない」ははるかに少なかっただろうと私は推測する。私自身は、AIの可能性に対する原理上の反論をどれも受け入れない。最も一般的な反論への応答は、Chalmers (1996)第9章と、Chalmers (2012)を参照。))、かなりよい成績を収めた。「［コンピューターが］成人と同水準の知能を示す」までの時期を推定するよう求められたとき、最も多い回答は「50年以上先」だった。（大半の人と同じく）AIは2023年までに到来しないと仮定すれば、この専門家たちは正しかったことになる。
残念ながら、「50年以上先」は、「今から数十年」と「今から数千年」の両方を含む、広い時間範囲である。したがって、代表性ある専門家調査によってAIを数十年の幅で予測できるという証拠は、まだない。また、専門家はこの種の予測をあまりうまく行えないのではないかと疑う一般的理由もある。ただし、さまざまな補助手段（例えば計算モデル。下記参照）によって、成績を改善できるかもしれない。
AIがいつ作られるかを、ほかにどう予測できるだろうか。
傾向の外挿
さまざまな傾向を外挿してAIが初めて作られる時期を予測しようとした人は多い。ケビン・ドラムと同じく、ヴィンジ(Vinge, 1993)はAIの予測を、ハードウェアの傾向（例えばムーアの法則）にもとづかせた。しかし、記事の2003年の再掲版で、ヴィンジはこの推論が不十分だと指摘した。AIに十分なハードウェアを得ても、ソフトウェアの問題は解決していないかもしれない。((ただし、Muehlhauser & Salamon (2013)は、「ハードウェアの外挿は、知能ソフトウェアがすでに書かれている文脈、すなわち全脳エミュレーション(whole brain emulation, WBE)では、もっと有用な方法かもしれない。WBEは、顕微鏡法や大規模皮質シミュレーションなど、既存技術の規模拡大へ主に依存するように思えるため、大部分が『工学』問題かもしれず、したがって到来時期をほかの種類のAIより予測しやすい可能性がある」と指摘する。しかし、C. elegansのような単純な生物による概念実証さえない間は、WBEの予測は特に難しい（デイヴィッド・ダルリンプル(David Dalrymple)がこれへ取り組んでいる）。さらに、神経科学では多くの進展が必要であり（Sandberg & Bostrom 2011）、その進展はハードウェアの外挿より予測しにくい可能性が高い。)) ロビン・ハンソン(Robin Hanson)が念を押すように、「AIには、ハードウェアだけでなくソフトウェアが必要だ」。
代わりに、ソフトウェアの進歩の傾向を外挿できるだろうか。((ソフトウェアの進歩の一般的な尺度がどのようなものになるかは分からないが、局所的な進歩の例なら、もちろん特定できる。例えばHoldren et al. (2010)は、次のように述べる。「多くの領域で、アルゴリズムの改善による性能向上は、プロセッサー速度の向上による劇的な性能向上さえ、はるかに上回った……。［例えば］最適化の専門家マルティン・グレッチェル(Martin Grötschel)は、線形計画法で解く生産計画のベンチマークモデルが、1988年当時のコンピューターと線形計画アルゴリズムでは、解くのに82年かかっただろうと述べる。15年後の2003年には、同じモデルを約1分で解けるようになり、およそ4300万倍改善した。このうち約1000倍はプロセッサー速度の向上による一方、約4万3000倍はアルゴリズムの改善によるものだった。グレッチェルは、1991年から2008年にかけて、混合整数計画法でも約3万倍のアルゴリズム改善があったと述べる。」Muehlhauser & Salamon (2013)は、別の例を示す。「例えばIBMのDeep Blueは1997年、毎秒約1.5兆命令(TIPS)を使い、世界王者ガルリ・カスパロフ(Garry Kasparov)と同水準でチェスを指した。しかしDeep Juniorというプログラムは2003年、わずか0.015 TIPSで同じことを行った。したがって、チェス・アルゴリズムの計算効率は、わずか6年で100倍になった（Richards and Shaw 2004）。」第三の例はSetty et al. (2012)であり、確率的検査可能証明の手法を、一度の突破口によって20桁も効率化した。一方、進歩が非常に遅い例も簡単に見つけられる（Davis 2012）。)) 現在のソフトウェアが人間の能力のどれほどの割合へ匹敵できるか、そして機械がどれほど速く「追いついて」いるかを尋ね、AIまでの時期を推定する人もいる。((例えばGood (1970)を参照。)) 残念ながら、「人間の能力」の空間をどう分割するかも、各能力がどの程度重要かも明確ではない。さらに、ソフトウェアの進歩は断続的に訪れるようだ。((以前書いたように、「計算能力の向上はかなり予測できる。しかしAIには、おそらく根本的な数学上の洞察が必要であり、それを予測するのはひどく難しい。1900年、ダフィット・ヒルベルト(David Hilbert)は、数学の23の未解決問題を提示した。それらがいつ解かれるか予測するところを想像してほしい」。一部の問題はすぐに解かれ、一部は解決に数十年を要し、多くは未解決のままである。ヒルベルトの問題が解かれる順序さえ、予測しにくかった。Erdős & Graham (1980)の7ページによれば、「ヒルベルトは1920年代初め、数学の問題について講演し、およそ次のように述べた。おそらく私たちは全員、リーマン予想の証明を見るだろう。私たちの一部は……フェルマーの最終定理の証明を見るだろう。しかし、(√2)^(√2)が超越数だという証明は誰も見ないだろう」。実際には、結果が得られた順序は逆だった。最後のものは数年後にクズミン(Kuzmin)が証明し、フェルマーの最終定理は1994年にワイルズ(Wiles)が証明したが、リーマン予想はいまだ証明も反証もされていない。)) コンピューターチェスの進歩は例外かもしれないが、ソフトウェアの進歩について、計算機ハードウェアにおけるムーアの法則と同じほど、数十年にわたって頑健な傾向を私は知らない。
一方、Tetlock (2005)は、少なくとも政治についての論客の予測を集めた大規模な長期データベースでは、単純な傾向外挿に勝つのは難しいと指摘する。AI分野の例を一つ考えよう。デイヴィッド・レヴィ(David Levy)が1989年の世界コンピューターチェス選手権の参加者へ、チェスプログラムが人間の世界王者を破るのはいつかと尋ねたところ、その推定は不正確なほど悲観的な傾向を示した。(( Levy & Newborn (1991)によれば、参加者一人は正しい年（1997年）を推測し、13人は1992～1995年、28人は1998～2056年を推測し、一人は「決してない」と推測した。1998～2056年を推測した28人のうち、11人は2010年以降を挙げた。)) その時点までに、コンピューターチェスは20年間、規則的で予測可能な進歩を示していたにもかかわらず、である。素朴な傾向外挿でこの出来事を予測した人（例えばKurzweil 1990）は、ほぼ正確な答え（1997年）を得た。
したがって、(a)進歩が外挿できるほど予測可能であり、(b)その尺度上のある性能水準が、強いAIの到来を頑健に示す尺度を探す価値はあるかもしれない。しかし、私の知る限り、これはまだ行われていない。そのような論証が、しかも十分に行われるまでは、傾向外挿からAIの時期について多くを知れるかは明らかでない。
かく乱要因
さらに悪いことに、複数の出来事がAIへの進歩を大幅に加速または減速し得るが、どれが起き、どの順で起きるかは分からない。例えば次のものがある。
- ムーアの法則の終わり。ムーアの法則の「逐次処理速度」版は2004年に破綻し、並列プロセッサーへの飛躍を必要とした。そのため、ソフトウェア開発者には重大な新たな困難が生じる（Fuller & Millett 2011）。ムーアの法則で経済的に最も重要な定式化である1ドル当たりの計算量は、これまで維持されている。((Fuller & Millett（2011, p. 81）が述べるように、「計算性能の規模拡大について語るとき、暗黙に意味しているのは、費やす1ドルごとに買える計算性能を高めることである」。私たちの大半は、新しいコンピューターにより多くのトランジスターがあるか、ほかの構造があるかを本当には気にしない。ただ、より多くのことを、より安く行ってほしい。Kurzweil (2012)第10章の脚注10は、「1000ドル当たりの毎秒計算回数」が1900年から2010年まで指数関数的に増えたことを示し、2004年にムーアの法則の逐次処理速度版が破綻した後のデータ点も複数含む。この傾向が続いたことは、クリス・ホールキスト(Chris Hallquist)がIntelなどの情報源から集めた、2006～2011年の「1ドル当たりの毎秒命令数」のデータ（表計算シートはこちら）によって確認される。したがって、ムーアの法則の1ドル当たりの計算量という形は、少なくとも今のところ衰えずに続いているようだ。)) しかし、これが今後も長く続くかは明確でない（Mack 2011、Esmaeilzadeh et al. 2012）。
- 手の届きやすい成果の枯渇。進歩は、努力だけでなく、進歩そのものの難しさにも左右される。一部の分野では、発見を重ねるごとに難度が増すパターンが見られる（Arbesman 2011）。AIは、以前の進歩より、新たな進歩へはるかに多くの努力を必要とする分野だと判明するかもしれない。AIの多くの部分、例えば自然言語処理では、すでに明らかにそうなっている（Davis 2012）。
- 社会崩壊。政治的、経済的、技術的、または自然の災害が社会崩壊を引き起こし、その間、AIの進歩が実質的に止まる可能性がある（Posner 2004、Bostrom and Ćirković 2008）。
- 開発へのためらい。Chalmers (2010)とHutter (2012a)は、AIへの進歩を妨げる最もありそうな「減速帯」が、開発へのためらいだと考える。AI技術が強力になるにつれ、人間は自分たちより強力な機械を作ることが賢明か疑問に思うかもしれない。
- 認知神経科学の突破口。現在の道具では、人間知能の背後にある認知アルゴリズムを推論するのは難しい（Trappenberg 2009）。しかし、新たな道具と方法によって、認知神経科学者が、人間の脳がどのように知能を実現するかを解読できるようになり、AI科学者がその方法をシリコン上で再現できるかもしれない。
- 人間の能力増強。人間増強技術は、認知能力増強薬（Bostrom and Sandberg 2009）、ブレイン・コンピューター・インターフェース（Groß 2009）、認知能力増強のための遺伝的選択または遺伝子工学によって、科学者をさらに有能にするかもしれない。((ここで考えられる突破口の一つは、反復胚選抜かもしれない。詳しくはMiller（2012, ch. 9）を参照。))
- 量子コンピューティング。量子コンピューティングは初期の障害の一部を乗り越えた（Rieffel and Polak 2011）が、機械知能の開発へ大きく貢献するかを予測するのは、依然として難しい。量子コンピューティングの進歩は、特に予測しにくい突破口へ依存する。さらに、量子コンピューターを構築できても、劇的な高速化をもたらすのは特定の用途だけである可能性が高い（例えば未整列データベースの探索）。
- 開発誘因の転換点。1957年のスプートニク打ち上げは、宇宙飛行が可能だと一般の人々へ示した。この出来事は、米国とソビエト連邦の宇宙開発競争を引き起こし、両国政府による宇宙計画への長期的な資金提供へつながった。人間より賢いAIが避けられないと一般の人々と政府へ明らかにする、AIの「スプートニク・モーメント」があれば、強いAIを目指す競争が起きるかもしれない。AI競争の勝者は、並外れた経済的、技術的、地政学的優位を得る可能性があるため、特にそうである。((ただし、米国が核兵器を唯一保有していた期間に、並外れた経済的、技術的、地政学的優位を追求しなかったことは興味深い。また、人類史を通じて暴力と攻撃性は着実に減ってきたことも、注目に値する（Pinker 2012）。))
大きな不確実性
以上を考えると、「AIはいつ作られるのか」という問いに対する最も適切な立場は、次のようなものだと思う。
AIが今後30年以内に到来するとは確信できず、100年より長くかかるとも確信できない。どちらかの主張へ確信を持つ人は、知り得る以上のことを知っているふりをしている。
ここで「確信」とは、どの程度だろうか。70%としよう。つまり、AIまで30年未満だと70%確信するのは合理的でなく、100年より長いと70%確信するのも合理的でないと思う。
この言明は、AIを予測できないことを認める一方、「AIが作られるまでの年数」に関する私の確率分布を、かなり強く制約する。
上で述べた考慮事項は、私の確率分布へこうした制約を置く根拠になると思うが、推論を詳しく説明してはいない。それには、ここで示せる以上の分析が必要になる。しかし、少なくともこの話題に関する基本的な考慮事項を要約できたことを願う。そして、私と異なる確率分布を持つ人は、ここでの研究を土台に、それぞれの分布の正当化を試みられる。
無知を減らす方法
しかし、無知を表明して満足してはならない。無知を認めることは重要な一歩だが、最初の一歩にすぎない。次の一歩は、可能なら無知を減らすことである。私たちの種全体の運命に関して大きな戦略的含意を持つ、価値の高い問いでは特にそうだ。
長期予測の成績をどう改善できるだろうか。Horowitz & Tetlock (2012)は、自らの実証研究と予測訓練にもとづき、次のような助言を示している。((Tetlock (2010)は、「敵対的協働」（Mellers et al. 2001）という別の推奨も加えている。テトロックはこう説明する。「中核の発想は単純である。認識論的・政治的に対立する陣営が専門家を指名し、北朝鮮、赤字削減、地球温暖化について、どのように意見が違うかをともに合意し、その後、少なくとも事実をめぐる争点の一部を解決する方法を見いだす。論争する両者は、合意したさまざまな実証試験が一方または他方の結果になった場合に、各陣営が相手へどれだけ信念の変更を『負う』かを、事前に指定する必要がある。敵対的協働が意図どおり働けば、認識上の誘因は、認知的な思い上がり（自分の側が正しく、相手が間違っている理由を可能な限り多く生み出すこと）を好む状態から、謙虚さ（相手側の反論の一部にも妥当性がある可能性を真剣に受け止めること）へ移る。それは、間もなく反証される見込みほど、論客が大仰な一般化を縮小し始める動機になるものはないからだ。『xを行えば、この時間範囲内に北朝鮮が協調的になるとは予測していない。私が言いたかったのは、x、y、zを行えば、もっと広い時間範囲内に、対立姿勢が弱まるかもしれないというだけだ。それも、予想外の内生的な展開も、厄介な外生的ショックもなければ、である。』」Tetlock (2012)は、Gawande (2009)に着想を得て、予測でチェックリストを使うことも暫定的に推奨する。「情報コミュニティーは、分析者が自分の思考方法について、より体系的に考える方向へ促す、成績評価用チェックリストの開発を始めた。しかし、私たちの知る限り、チェックリストの有用性を、現在の評価と将来予測の正確さなど、現実世界の独立した成績基準で確認するという、決定的な次の段階にはまだ進んでいない。［ACE］IARPA予測大会での経験から、この次の段階は実行可能で望ましいと、私たちは慎重ながら楽観している。」))
- 明示的な定量化：「長期的な未来をよりよく較正して評価できるようになる最善の方法は、長期間にわたって正確さを客観的に採点できる、定量的な確率推定を行う習慣をつけることである。明示的に定量化すれば、正確さについて明示的なフィードバックが得られ、それによって学習できる。」
- 未来への道標を立てる：具体的なシナリオを考え抜くことは、そのシナリオが「政策立案者が、あるシナリオへ近づいているか、遠ざかっているかを測るために使える、明確で診断的な道標を伴う。反証可能な仮説は、宙に浮いたシナリオの抽象論を地上へ引き戻す」というものなら有用になり得る。((ただし、この課題の難しさについて自分を欺いてはならない。Good (1976)は、コンピューターチェスで人間水準の成績を示すことが、人間水準AIへのよい道標だと主張し、「グランドマスター級のコンピュータープログラムがあれば、［機械超知能］まであと一歩となる」と書いた。しかし、もちろん、そうはならなかった。今日、この予測を見て笑うかもしれないが、1976年の時点で、グッドの予測が間違いだということは、どれほど明白だっただろうか。))
- 集約を活用する：「平均予測はしばしば、その平均の計算に使われた個々の予測の大多数より正確である……。［予測者は］［ACEと呼ばれるIARPA予測大会の］優れた予測者の一部が身につけた習慣も持つべきである。自分の予測を、集団平均、加重平均アルゴリズム、予測市場、金融市場と比較する習慣である。」ACE大会で集約を活用した成果の一部は、Ungar et al. (2012)を参照。
不確実性の高い予測をするときには通常、現象を多数の部分へ分解し、各部分について予測すると役立つ、と付け加える予測専門家は多い。((例えばArmstrong & Sotala (2012)、MacGregor (2001)、Lawrence et al. (2006)。)) Raiffa (1968)が簡潔に述べるように、戦略は、「複雑な問題をもっと単純な問題へ分解し、その単純な問題について考えを整理し、論理という接着剤で分析を貼り合わせ、複雑な問題の行動計画を導き出す」ことにすべきである（271ページ）。MIRIのThe Uncertain Futureは、この種の単純な簡易モデルである。しかし、気候変動のモデル化で成功裏に使われているもの（Allen et al. 2013）のような、さらに洗練された計算モデルを作り、ほかの予測技法と統合することもできる。
AI予測は難しいと考えるべきだが、AIの時期について、今日と同じほど無知でいる必要はない。
謝辞
本稿へ有益な意見を寄せてくれたカール・シュルマン(Carl Shulman)、アーネスト・デイヴィス(Ernest Davis)、ルイ・ヘルム(Louie Helm)、スコット・アーロンソン、ジョナ・シニック(Jonah Sinick)に感謝する。