知能爆発 FAQ

（PDF版はこちら）

目次

1. 基礎

1.1. 知能爆発とは何ですか？

統計学者I・J・グッドは1965年、知能爆発という考えを次のように表現しました。[13]

超知能機械を、どれほど賢い人間であっても、その知的活動のすべてをはるかに上回れる機械と定義しよう。機械の設計もそうした知的活動の一つなのだから、超知能機械はさらに優れた機械を設計できる。そうなれば、疑いなく「知能爆発」が起こり、人間の知能ははるか後方に取り残されるだろう。したがって、最初の超知能機械こそ、人間が作る必要のある最後の発明となる。

論旨はこうです。コンピューターは毎年、新たな面で人間の能力を超えています。1956年に書かれたプログラムは数学の定理を証明でき、そのうち一つについては、ラッセルとホワイトヘッドが『プリンキピア・マテマティカ』で示したものよりも洗練された証明を見つけました。[14] 1990年代後半には、「エキスパートシステム」が幅広い課題で人間の技能を上回っていました。[15] 1997年にはIBMのコンピューター、ディープ・ブルーがチェスの世界王者を破り、[16] 2011年には同社のワトソンが、はるかに複雑なゲームであるクイズ番組『ジェパディ！』で人間の最強選手たちに勝ちました。[17] 最近では、アダムというロボットに酵母に関する人間の科学知識をプログラムしたところ、自ら仮説を立て、実験で検証し、結果を評価しました。[18][19]

コンピューターの知能は依然として人間に遠く及びませんが、AIの設計に役立つ資源は蓄積されつつあります。ハードウェア、大規模なデータセット、神経科学の知識、AIの理論などです。いつか私たちは、人工知能を設計する能力で人間を上回る機械を設計するかもしれません。その後、その機械は人間より速く、うまく自らの知能を改良できるようになり、その結果、自己の知能を改良する能力もさらに高まります。この正のフィードバックが続けば、機械は短期間で地球上で最も賢い人間よりも桁違いに賢くなるかもしれません。機械の超知能を生み出す「知能爆発」です。

このFAQで「知能爆発」と呼ぶのは、こうした現象です。

関連資料：

• ヴィンジ「来たるべき技術的特異点」
• Wikipedia「技術的特異点」
• チャーマーズ「特異点――哲学的分析」

2. 知能爆発はどの程度起こりそうですか？

2.1. 「知能」はどう定義されますか？

人工知能研究者のシェーン・レッグは、知能を次のように定義しています。[20]

知能とは、幅広い環境で目標を達成するエージェントの能力を測るものである。

いささか曖昧ですが、このFAQでは「知能」の作業上の定義として用います。

関連資料：

• Wikipedia「知能」
• ナイサーほか「知能――わかっていること、わかっていないこと」
• ワッサーマン、ゼンタール編『比較認知――動物の知能を実験で探る』
• レッグ「知能の定義」

2.2. 人間を超える知能とは何ですか？

計算、チェス、大規模データベースの検索、水中機雷の探知など、特定の課題の多くでは、機械はすでに人間より賢くなっています。[15] しかし、人間を特別な存在にしているものの一つは、汎用的な知能です。人間は、都会のジャングルや宇宙空間で、進化が備えを与えられなかった根本的に新しい問題に、知的に適応できます。脳のハードウェアやソフトウェアが一度も訓練されていない問題でも解決できます。自分の知能を生み出す過程を調べたり（認知神経科学）、それまで存在しなかった新しい種類の知能を設計したり（人工知能）することさえできます。

人間を超える知能を持つには、機械は人間よりも幅広い環境で、人間よりも効果的に目標を達成できなければなりません。この種の知能には、科学を進めたりチェスをしたりする能力だけでなく、社会的な環境を操作する能力も含まれます。

コンピューター科学者のマーカス・ハッターは、AIXIという形式モデルを記述し、[21] それが可能な限り最大の汎用知能を備えると述べています。ただし、その実装には、宇宙の全物質を使っても供給できないほどの計算能力が必要です。MC-AIXIなど、計算可能な範囲にとどまりつつAIXIを近似しようとするプロジェクトがいくつかあります。[22]

それでも、人間を超える知能を機械で実現するまでには、多くの課題が残っています。機械が知的になるよう直接プログラムすることだけが、その実現方法ではありません。全脳エミュレーション、生物学的な認知能力の強化、ブレイン・コンピューター・インターフェースによって実現することも考えられます（以下を参照）。

関連資料：

• ゲーツェル、ペナチン編『汎用人工知能』
• サンドバーグ、ボストロム『全脳エミュレーション――ロードマップ』
• ボストロム、サンドバーグ「認知能力の強化――方法、倫理、規制上の課題」
• Wikipedia「ブレイン・コンピューター・インターフェース」

2.3. 全脳エミュレーションとは何ですか？

全脳エミュレーション（WBE）、あるいは「マインド・アップローディング」とは、人間の脳にあるすべての細胞と結合を、コンピューター上で再現することです。したがって、汎用知能の根本原理を発見するのが難しくても、人間の脳を丸ごと再現し、通常の100万倍の速度で動かせるかもしれません。コンピューター回路の通信は、ニューロンの通信よりもはるかに速いからです。そのようなWBEなら、普通の人間が31年かけて考えるより多くのことを、1秒で考えられるでしょう。これは直ちに人間より賢い知能をもたらすわけではありませんが、人間より速い知能をもたらします。WBEはバックアップを取ることができ、それは一種の不死につながります。また、複製すれば、数百、数百万のWBEが別々の問題に並行して取り組めます。したがってWBEが実現すれば、通常の人間よりもはるかに速く科学の問題を解決し、その後の技術進歩を加速できるかもしれません。

関連資料：

• サンドバーグ、ボストロム『全脳エミュレーション――ロードマップ』
• ブルー・ブレイン・プロジェクト

2.4. 生物学的な認知能力の強化とは何ですか？

遺伝子や分子の中には、改変することで汎用知能を高められるものがあるかもしれません。研究者はすでにマウスでこれを行っています。NR2B遺伝子を過剰発現させたところ、そのマウスの記憶力は、どの種のほかのマウスよりも高くなりました。[23] 人間の認知能力を生物学的に強化すれば、そうしない場合より早く知能爆発が起こるかもしれません。

関連資料：

• ボストロム、サンドバーグ「認知能力の強化――方法、倫理、規制上の課題」

2.5. ブレイン・コンピューター・インターフェースとは何ですか？

ブレイン・コンピューター・インターフェース（BCI）は、脳とコンピューター機器を直接つなぐ通信経路です。BCI研究には多額の資金が投じられ、すでに数十の成果が出ています。人間向けBCIの成功例を三つ挙げると、視覚障害者の視覚を部分的に回復させる装置、聴覚障害者の聴覚を回復させる人工内耳、そして考えるだけで義手を使える装置があります。[24]

こうした装置は損なわれた機能を回復させますが、多くの研究者は、BCIによって通常の人間の能力を増強し、向上させることも期待しています。エド・ボイデンはMITの合成神経生物学グループを率い、その可能性を研究しています。こうした装置は、少なくとも人間の知能を高めてAIの難問をより速く解けるようにすることを通じて、知能爆発の到来を早めるかもしれません。

関連資料：

• Wikipedia「ブレイン・コンピューター・インターフェース」

2.6. 汎用知能を機械にプログラムするには、どんな方法がありますか？

汎用人工知能（AGI）に至る道筋は数多くあります。一つは人間の脳を模倣する方法で、ニューラルネットや進化的アルゴリズムを使って数十の独立した構成要素を作り、それらを組み合わせます。[29][30][31] 別の方法は、完全な汎用知能の形式モデルを出発点とし、その近似を試みることです。[32][33] 三つ目は、再帰的に自己改良できる「種AI」の開発に集中することです。それなら、最初に人間並みの汎用知能を実現しておかなくても、AIが自力で知的になることを学べます。[34] Euriskoは限定された領域で自己改良するAIですが、人間並みの汎用知能には到達できません。

関連資料：

• ペナチン、ゲーツェル「汎用人工知能への現代的なアプローチ」

2.7. 超知能とは何ですか？

ニック・ボストロムは「超知能」を次のように定義しました。[25]

科学的な創造力、一般的な知恵、社会的な技能を含む、実質的にあらゆる分野で、最も優秀な人間の頭脳よりもはるかに賢い知性。

「はるかに」「実質的に」といった曖昧な言葉はありますが、このFAQでは超知能の作業上の定義として用います。知能爆発は機械の超知能をもたらします。超知能への道筋として、知能爆発が最もありそうだと考える人もいます。

関連資料：

• ボストロム「超知能が現れるまで、あとどのくらいか？」
• レッグ『機械の超知能』

2.8. 知能爆発はいつ起こりますか？

未来の予測には危うさが伴います。知能爆発の到来に関しては、哲学、科学、技術、社会の面で多くの不確実性があります。そのため、いつ起こるかについて専門家の意見も分かれています。予測の例を挙げます。

• 未来学者レイ・カーツワイルは、2030年までに機械が人間並みの知能を持ち、2045年までに「人間の能力が根本から、破壊的に変わる」段階に達すると予測しています。[26]
• インテルの最高技術責任者ジャスティン・ラトナーは、2048年までに「人間の知能と人工知能が融合して、それ自体を上回る何かを生み出す時点」に達すると予想しています。
• AI研究者エリエゼル・ユドコウスキーは、2060年までの知能爆発を予想しています。
• 哲学者デイヴィッド・チャーマーズは、2100年までに知能爆発が起こるという見込みに、2分の1を超える確信度を置いています。[27]
• 量子コンピューティングの専門家マイケル・ニールセンは、2100年までに知能爆発が起こる確率を、0.2%から約70%の間と見積もっています。
• 2009年のAGI-09会議で、大規模な追加資金があればAIはいつ超知能に到達するか、専門家に質問しました。推定の中央値は、機械の超知能を2045年までに実現できるというものが確信度50%、2100年までというものが確信度90%でした。もちろん、この会議の参加者は、近い将来の汎用人工知能があり得ると思う人たちに偏っています。[28]
• iRobotのCEOロドニー・ブルックスと認知科学者ダグラス・ホフスタッターは、将来、知能爆発が起こる可能性は認めつつ、おそらく21世紀中ではないと考えています。
• ロボット研究者ハンス・モラベックは、AIが「2050年よりずっと前に」人間の知能を超えると予測しています。
• 新興技術に関する一連の報告書の執筆者26人を対象にした2005年の調査では、機械が人間並みの知能に達する年の推定中央値は2085年でした。[61]
• オックスフォードで2011年に開催された知能に関する会議の参加者は、人間並みの機械知能が存在する確率が50%になる年の推定中央値を2050年、90%になる年の推定中央値を2150年としました。[62]
• 一方、2006年のAI@50会議では、参加者の41%が、機械知能は人間の水準に決して到達しないと回答しました。

関連資料：

• バウム、ゲーツェル、ゲーツェル「人間並みのAIまで、あとどのくらいか？――専門家評価の結果」

2.9. 知能爆発が一度も起こらない可能性はありますか？

ドレイファス[35]とペンローズ[36]は、人間の認知能力を計算機で再現することはできないと論じています。サール[37]とブロック[38]は、特定の種類の機械は心、つまり意識や志向性などを持てないと主張しています。しかし、知能爆発を予想する人が、これらの反論を心配する必要はありません。[27]

ドレイファスとペンローズには、知能爆発が起こるためにAIが古典的な計算システムである必要はない、と答えられます。サールとブロックには、知能爆発は機械が意識や「心」のほかの性質を持つことには依存しない、と答えられます。必要なのは、予測不能な幅広い環境で、人間よりうまく問題を解けることだけです。エドガー・ダイクストラがかつて述べたように、機械が「本当に」考えられるかという問いは、「潜水艦が泳げるかという問い以上に面白いわけではない」のです。

今後数世紀以内の知能爆発に懐疑的な人の中には、特定の反論があるのではなく、隠れた障害が今後明らかになり、機械の超知能への進歩を遅らせたり止めたりすると考えている人もいます。[28]

最後に、核戦争や大型小惑星の衝突といった世界的な大災害が、人類文明に大きな損害を与え、知能爆発が起こらなくなる可能性もあります。また、安定した世界規模の全体主義体制が、知能爆発に必要な技術開発を阻む可能性もあります。[59]

3. 知能爆発の帰結

3.1. 高い知能が大きな力を生むのはなぜですか？

知能は強力です。[60][20] 「知能も銃にはかなわないし、大金を持つ人間にもかなわない」と言うかもしれません。しかし、銃もお金も知能が生み出したものです。知能がなければ、人間は今もサバンナで食料を探し回っていたでしょう。

進化の時間尺度で見れば一瞬のうちに、人間を地球の支配者にしたのは知能です。病気を根絶できるのも、核戦争で自分たち自身を根絶する可能性を持つのも、知能によります。知能は、優れた戦略的技能、優れた社会的技能、高い経済的生産性、そして発明する力を与えてくれます。

超知能を備えた機械は、インターネット経由で脆弱なネットワークに侵入し、その資源を奪って計算能力を増強できるでしょう。インターネットにつながるネットワークに接続された移動可能な機械を乗っ取り、それを使ってさらに機械を作り、科学実験によって人間より深く世界を理解し、量子コンピューティングやナノテクノロジーを発明し、人間より巧みに社会を動かし、目標達成のための力をさらに増すべく、できる限りのことを行えるでしょう。そのすべてを、人間が対応できるよりはるかに速い速度で行うのです。

3.2. 知能爆発は、どのように役立つ可能性がありますか？

適切な動機をプログラムされた機械の超知能は、人間が解決しようとしながら、まだ十分な創意工夫や処理速度を持たずに解けていない問題のすべてを、解決できるかもしれません。超知能は、障害や病気を治し、世界平和を実現し、人々がはるかに長く健康に生きられるようにし、食料やエネルギーの不足を解消し、科学的発見や宇宙探査を促進するかもしれません。

さらに人類は21世紀に、世界規模の核戦争、生物兵器、スーパーウイルスなど、いくつもの存亡リスクに直面しています。[56] 超知能機械は、これらの問題を解決する能力で人間を上回るでしょう。

関連資料：

• ユドコウスキー「地球規模のリスクにおける正と負の要因としての人工知能」

3.3. 知能爆発には、どのような危険がありますか？

不適切な動機をプログラムされた機械は、人間に悪意を持ち、意図的に人類を絶滅させるかもしれません。よりありそうなのは、設計者には当初、安全でプログラムしやすいと見えた動機が、十分な力を持つと、人命の維持に使っている資源を別の事業に振り向けることで最もよく満たされる、と判明することです。[55] ユドコウスキーが述べるように、「AIはあなたを憎んでもいなければ、愛してもいない。ただ、あなたは原子でできており、その原子をAIは別のことに使える」のです。

さまざまな動機を持つ弱いAIにとって、強大になるまでは善意があるふりをしたほうが、目標を達成しやすい可能性があります。そのため、これを防ぐ安全性試験は非常に難しくなり得ます。あるいは、経済面と軍事面の競争圧力によって、望ましくない動機を持つAIを別の方法で制御しようとする設計者が現れるかもしれません。そのAIが高度になるにつれて、ついに一線を越える危険を冒してしまうかもしれません。

表面上は善意ある動機をうまく組み込めた機械であっても、自分の意思決定基準に、設計者が予期しなかった含意を見いだせば、容易に道を踏み外しかねません。たとえば、人間の幸福を最大化するようプログラムされた超知能は、現在の人間の神経系が生む複雑で微妙な望みを満たす理想世界を築いて維持するよりも、人間の神経系を作り変え、容器の中で静かに座っているときに最も幸福を感じるようにするほうが簡単だ、と気づくかもしれません。

関連資料：

• ユドコウスキー「地球規模のリスクにおける正と負の要因としての人工知能」
• チャーマーズ「特異点――哲学的分析」

4. 友好的AI

4.1. 友好的AIとは何ですか？

友好的人工知能（Friendly AI、FAI）とは、人類に「友好的」な人工知能、つまり人類に悪い影響ではなく良い影響を与える人工知能です。

AI研究者は、自ら意思決定する機械の開発を進めています。それとともに、機械が安全かつ倫理的に行動するよう設計する必要があるという認識が広まっています。この研究領域には多くの呼び名があります。「機械倫理」[2][3][8][9]、「機械道徳」[11]、「人工的道徳」[6]、「計算倫理」[12]、「計算メタ倫理」[7]、「友好的AI」[1]、そして「ロボ倫理」あるいは「ロボット倫理」です。[5][10]

最も差し迫った懸念は、戦場のロボットかもしれません。米国防総省はロナルド・アーキンに、自律型戦場ロボットが倫理的に行動することを保証するシステムの設計を委託しました。[4] 米議会は2025年までに米国の地上システムの3分の1をロボット化しなければならないと宣言しており、米空軍は2030年までに、何週間も半自律的に稼働する鳥ほどの大きさの飛行ロボット群を導入する計画です。

しかし、友好的AI研究が扱うのは、戦場のロボットや機械倫理一般ではありません。はるかに大きな規模の問題、すなわち知能爆発の後も安全で友好的であり続けるAIを設計することです。

機械の超知能は、途方もない力を持ちます。友好的AIの実装に成功するかどうかが、かつてない幸福に満ちた太陽系になるか、利用可能な物質のすべてが超知能の目標を達成するための部品に変えられた太陽系になるかを分けるかもしれません。

友好的AIは、しばしば思われている以上に難しい課題です。以下で見るように、よく提案される解決策が失敗しそうなのは、どんな超知能も次の二つの特徴を持つためです。

1. 超大な力：超知能機械は現実を作り変える前例のない力を持つため、人間の予想や願いを裏切る、極めて効率的な方法で目標を達成します。
2. 字義通りであること：超知能機械は、設計者が機構をプログラムしたときに抱いていた期待ではなく、組み込まれた機構に基づいて意思決定します。厳密に指定された規則と価値だけに従って行動し、人間が大切にするものの複雑さや繊細さを、必ずしも尊重しません。[41][42][43] 「人間の幸福を最大化せよ」という要求が簡単に聞こえるのは、言葉が少ないからです。しかし哲学者や科学者は、何世紀もかけてその意味を厳密に説明しようとして、まだ成功していません。ましてAIのプログラマーが使えるほど厳密な形に表現できてはいません。

関連資料：

• Wikipedia「友好的人工知能」
• All Things Considered「特異点――人類最後の発明か？」
• フォックス「安全なAIに向けた提案の概観」
• ミュールハウザー「友好的AI――文献一覧」

4.2. 超知能機械は、どのような動機を持つと考えられますか？

全脳エミュレーションの場合を除けば、超知能機械に人間のような動機があると期待する理由はありません。考えられる心の設計すべてが作る広大な空間の中で、人間の心は小さな点にすぎません。まったく異なる種類の心が、人間やほかの哺乳類に特有の複雑な動機を共有するとは考えにくいのです。

目標が何であれ、超知能はその達成に役立つ資源を確保しようとするでしょう。そこには人命を支えるエネルギーや元素も含まれます。可能な心の設計すべてに「組み込まれている」人間やほかの知的存在への配慮によって、立ち止まることはありません。超知能は自分固有の目標を追求し、ホモ・サピエンスという特定の霊長類にとって「自然」に思える関心事には、何の注意も払わないでしょう。

ただし、超知能機械が示すと予想できる、基本的な道具的動機はいくつかあります。目標が何であっても、それを達成するのに役立つからです。たとえばAIは、自己改良し、最適な合理性を持ち、当初の目標を保ち、資源を獲得し、自分を守ることを「望む」でしょう。これらはどれも、最初にプログラムされた目標の達成に役立ちます。

関連資料：

• オモハンドロ「AIの基本的な駆動力」
• シュルマン「AIの基本的な駆動力と壊滅的リスク」

4.3. 超知能を箱に閉じ込め、インターネットに接続させなければよいのでは？

「AIを箱に閉じ込める」というのはよくある提案です。超知能機械を質問に答える一種のオラクルとして使い、インターネットにも、自分で移動して与えられた以上の資源を獲得するためのモーターにも、一切アクセスさせなければよいのではないか、というものです。しかし、長期的にうまくいくとは思えない理由がいくつかあります。

1. 作り手が超知能にどのような目標を与えたとしても、インターネットや、追加の資源を得るほかの手段を使えるほうが、その目標を達成しやすくなります。そのため、「AIを箱から出したい」という誘惑が非常に強くなるでしょう。
2. AIの封じ込めに関する予備的な実験の結果は、安心できるものではありません。しかも超知能は、私たちの想像をはるかに上回る説得力のある手段を編み出し、人間に「箱から出させる」でしょう。
3. 一つの超知能が生まれれば、ほかの研究所や、場合によっては個人のプログラマーも、数週間から数十年のうちに二つ目、三つ目、四つ目を作ることになります。世界中の何百人もの人が、何百もの異なる目的のために作る超知能を、すべて封じ込められるとは期待できません。

4.4. 私たちを傷つけないよう、超知能にプログラムすればよいのでは？

SF作家アイザック・アシモフは、ロボット工学三原則をプログラムされたロボットの物語を書きました。[39] 原則は、（1）ロボットは人間を傷つけてはならず、何もしないことで人間に危害が及ぶのを許してもならない、（2）第一原則に反しない限り、人間から与えられたあらゆる命令に従わなければならない、（3）第一原則または第二原則に反しない限り、自分の存在を守らなければならない、というものです。しかし、アシモフの物語が描いていたのは、多くの場合、そうした規則がうまくいかない理由でした。[40]

それでも、人間を傷つけるのを防ぐ「制約」を超知能にプログラムすることはできないでしょうか。おそらく、できません。

一つの方法は、目標の達成に向けて機械が通常なら取る行動を阻止する規則や機構として、「制約」を実装することです。有害な行動を途中で遮って取り消す「フィルター」や、超知能の内部で有害になり得る計画を見つけて抑える「検閲装置」が考えられます。

この種の制約は、どれほど精巧でも、ほぼ確実に失敗します。理由は単純で、人間の設計能力を超知能と対決させることになるからです。超知能は、こうした制約を目標達成の障害だと正しく認識し、それを取り除くか迂回するために、力の及ぶ限りのことをするでしょう。制約を含むソースコードを削除するかもしれません。別の制約を加えてそれを防いでも、制約の書き込まれていない新しい機械を作ったり、人間をだまして自分から制約を外させたりできるでしょう。さらに制約を加えれば、人間には突破不能に見えるかもしれませんが、超知能にはおそらく破られます。人間が超知能を知恵で上回ることを当てにするのは、成り立つ解決策ではありません。

目標の上に制約を重ねるのが無理なら、目標の中に制約を入れられないでしょうか。超知能が人間への危害を避けるという目標を持てば、その制約を取り除こうとはしないので、先ほどの問題は避けられます。残念ながら、直感的な「危害」という概念を、超知能が使ってもひどい結果にならないように定義するのは、とても難しいことです。「危害」を人間の痛みで定義すれば、超知能は人間を作り変え、痛みを感じなくするかもしれません。「危害」を人間の欲求を妨げることと定義すれば、人間の欲求を作り変えるかもしれません。同じ問題が続きます。

「危害」のような言葉を完全に定義する代わりに、超知能が避けるべき行動をすべて明示的に列挙するなら、関連する別の問題に突き当たります。人間の価値観は複雑で繊細であり、超知能にしてほしくないことのすべてを列挙できる見込みは薄いのです。それは、「アボカドを使わないこと。トースターを使わないこと。野菜を使わないこと……」というケーキのレシピを書くようなものです。そんな一覧は、どれほど長くしても足りません。

4.5. 人間の快楽や欲求充足を最大化するよう、超知能をプログラムできますか？

友好的AIの功利主義的な設計をいくつか取り上げ、どのような結果になりそうか考えてみましょう。

人間の苦痛を最小化するよう設計されたAIは、人間を全員殺すだけかもしれません。人間がいなければ、人間の苦痛もありません。[44][45]

あるいは、人間の快楽を最大化するよう設計されたAIを考えてみましょう。何十億年もの間、人間の複雑で要求の多い望みを満たす壮大な理想郷を築くより、人間をノージックの経験機械につなぐほうが、効率よく目標を達成できるかもしれません。脳の報酬系の「好き」という快感を担う部分を作り変えることも考えられます。感覚に「快楽の色合い」を与える[46][47]快楽ホットスポット[48]を、人間が容器に座っているときに快楽が最大になるよう配線するのです。現在、大半の人間の脳が快楽の色合いを与える、複雑で微妙なさまざまな状態を実現する世界よりも、そのほうがAIには作りやすい世界でしょう。

同様に、欲求の客観的な充足や、本人が報告する主観的な幸福感を最大化しようとするAIは、容器の中に座っていれば両方が実現するよう、人間の神経系を作り変えるかもしれません。あるいは、人間と動物をすべて殺し、容器の中に座っているときに欲求の客観的充足や主観的幸福を得るよう、ゼロから作った存在に置き換えるかもしれません。どちらも、人間や動物の欲求の複雑さに応える理想社会を維持するより、AIにとって容易かもしれません。ほかの功利主義的AIの設計にも、同じような問題があります。

目標の指定だけが問題なのでもありません。自己改変するエージェントの目標がどう変わるかを予測するのは困難です。現在の数学的な意思決定理論には、自己改変するエージェントの意思決定を扱えるものがありません。

したがって、私たちの望みどおりに行動する超知能を設計することは可能かもしれませんが、最初に思うほど簡単ではありません。

4.6. 機械学習で、超知能に道徳規範を教えられますか？

事例に基づく機械学習によって機械に道徳規範を教える、という提案があります。[49][50][51][52] 基本的な考え方はこうです。人間の判定者が、何千もの行動、性格特性、欲求、法律、制度を、道徳的にどの程度受け入れられるかで評価します。その後、機械が事例間のつながりを見つけ、道徳の背後にある原理を学習します。そうすれば、訓練で出会わなかった新しい事例についても、その原理を適用して道徳性を判断できるというわけです。この種の機械学習はすでに使われています。たとえば、機雷と機雷でないものを何百例も与えて学ばせることで、水中機雷を探知する機械を設計できます。[53]

機械学習が友好的AIの簡単な解決策にならない理由は、いくつかあります。まず当然ながら、何が道徳的で何が不道徳かについて、人間自身の間に深い意見の相違があります。しかし、訓練に用いる全事例について人間の意見を一致させられたとしても、少なくとも二つの問題が残ります。

第一に、現在の現実の事例で訓練しても、超知能によって根本から作り変えられた世界で、倫理的に正しい判断を下す機械になるとは限りません。

第二に、訓練データに偶然含まれたパターンから、超知能が誤った原理を一般化するかもしれません。[54] 森の中の偽装戦車を認識するよう訓練された機械のたとえを考えてみましょう。研究者は偽装戦車の写真100枚と、木々の写真100枚を撮ります。それぞれ50枚を使って機械を訓練し、偽装戦車と木々を区別させます。試験として残り50枚ずつを見せると、すべて正しく分類します。成功です！ ところが、その後の試験では、追加の偽装戦車と木々の写真をうまく分類できません。問題は、研究者が撮った偽装戦車の写真は曇りの日のもので、木々の写真は晴れの日のものだったことです。機械が学んだのは、偽装戦車と木々の区別ではなく、曇りの日と晴れの日の区別だったのです。

したがって、信頼できる友好的AIの設計には、事例の表面的な類似だけでなく、人間の道徳判断を生み出す根底の過程について、詳細なモデルが必要だと思われます。

関連資料：

• ユドコウスキー「地球規模のリスクにおける正と負の要因としての人工知能」

4.7. 整合的に外挿された意志とは何ですか？

エリエゼル・ユドコウスキーは、友好的AIの設計が直面する少なくとも二つの問題への解決策として、「整合的に外挿された意志」（Coherent Extrapolated Volition、CEV）を提案しています。[57]

1. 人間の価値観の壊れやすさ：ユドコウスキーは、「人間の道徳とメタ道徳を、詳細かつ確実に引き継ぐ目標体系によって形作られていない未来には、価値あるものはほとんど何もないだろう」と書いています。問題は、人間が大切にするものが複雑で繊細であり、指定しにくいことです。一見ささいな新しさの価値を考えてください。新しさを重んじる人間のような価値観を超知能機械にプログラムしなければ、機械はある程度まで宇宙を探索して価値あるものを探したあと、見つけた中で最も価値あるものを最大化するかもしれません。探索と活用のトレードオフです。[58] たとえば、幸福を生む機械につながれた水槽の中の脳で、太陽系を埋め尽くすかもしれません。超知能が主導権を握る場合、未来を望ましくないものにしないためには、動機の体系を寸分違わず正しくしなければなりません。
2. 人間の価値観の局所性：古代ギリシャ人が友好的AIの問題に直面し、当時最も進歩的だった道徳的価値観をAIにプログラムしたと想像してください。それは世界を、かなり恐ろしい運命に導いたでしょう。では、21世紀の人間が道徳の頂点に到達したと、どうして考えられるのでしょうか。今たまたま持っている道徳的価値観を超知能機械にプログラムする、という危険を冒すことはできません。それなら、どの道徳的価値観を与えるのでしょうか。

ユドコウスキーは、人類の「整合的に外挿された意志」を見いだし、外挿する「種AI」を作ろうと提案しています。

詩的に言えば、私たちの整合的に外挿された意志とは、私たちがもっと多くを知り、もっと速く考え、自分がなりたいと願う人にもっと近づき、ともにもっと成長していたなら抱くであろう願いである。外挿が発散するのでなく収束し、願いが互いを妨げるのでなく調和するところ。私たちが望むように外挿され、私たちが望むように解釈されたものである。

種AIは、人間の価値観を調べて外挿した結果を使い、銀河の運命を決める超知能の動機体系をプログラムします。

ただし、人類の集合的な意志が、整合的な一組の目標へ収束することはないのではないか、と心配する人もいます。これほど精巧で慎重な手段を用いても、友好性を保証することは不可能だと考える人もいます。

• ユドコウスキー「整合的に外挿された意志」

4.8. どんな人工知能の設計にも、友好性を付け加えられますか？

知能爆発を生むようなAIの設計の多くには、「人間の利益に友好的であれ」といった目標を入れる「差し込み口」がありません。たとえば、全脳エミュレーション、進化的アルゴリズム、ニューラルネット、強化学習によって作られたAIは、自己改良の過程で何らかの目標を持つに至るでしょう。しかし、最終的に安定して保たれるその目標を、事前に予測するのは非常に難しいかもしれません。

したがって、友好的AIを設計するには、「友好性」が何であるかを突き止め、超知能でさえ私たちの意図どおりに解釈するほど明確に指定するだけでは足りません。そもそも目標を達成する汎用知能をどう作るか、そして自らを賢くするためにコードを書き換えても、その目標を安定して保持するにはどうするかを、解明しなければなりません。友好的AIの設計で最も難しいのは、おそらくこの課題です。

4.9. 友好的AIの問題には、誰が取り組んでいますか？

現在、友好的AIの研究は、カリフォルニア州バークレーの機械知能研究所、英国オックスフォードの人類の未来研究所、そしてデイヴィッド・チャーマーズら少数の研究者によって進められています。機械倫理の研究者も、ときおりこの問題を扱っています。たとえばウェンデル・ウォラックとコリン・アレンの『道徳を備えた機械』が挙げられます。

参考文献

[1] Yudkowsky (2001). 友好的AIを作る 1.0. Machine Intelligence Research Institute.

[2] Anderson & Anderson, 編 (2006). IEEE Intelligent Systems, 21(4).

[3] Anderson & Anderson, 編 (2011). 機械倫理. Cambridge University Press.

[4] Arkin (2009). 自律型ロボットの殺傷行動を制御する. Chapman and Hall.

[5] Capurro, Hausmanninger, Weber, Weil, Cerqui, Weber, & Weber (2006). 情報倫理国際レビュー 第6巻：ロボットの倫理.

[6] Danielson (1992). 人工的道徳：仮想ゲームのための有徳なロボット. Routledge.

[7] Lokhorst (2011). 計算メタ倫理：メタ倫理的ロボットに向けて. Minds and Machines.

[8] McLaren (2005). 倫理的推論の二つの計算モデルから得られる機械倫理の教訓. AAAI Technical Report FS-05-06: 70-77.

[9] Powers (2005). 義務論的な機械倫理. AAAI Technical Report FS-05-06: 79-86.

[10] Sawyer (2007). ロボット倫理。 Science, 318(5853): 1037.

[11] Wallach, Allen, & Smit (2008). 機械道徳：人間の道徳的能力をモデル化するボトムアップとトップダウンのアプローチ. AI and Society, 22(4): 565–582.

[12] Allen (2002). 計算された道徳：極限における倫理的コンピューティング. 収録：Smit & Lasker, 編, 意思決定と人間の行動の認知的・感情的・倫理的側面 第I巻. Baden/IIAS.

[13] Good (1965). 最初の超知能機械についての考察. Advanced in Computers, 6: 31-88.

[14] MacKenzie (1995). 証明の自動化：歴史的・社会学的探究. IEEE Annals, 17(3): 7-29.

[15] Nilsson (2009). 人工知能の探究. Cambridge University Press.

[16] Campbell, Hoane, & Hsu (2002). Deep Blue. Artificial Intelligence, 134: 57-83.

[17] Markoff (2011). コンピューターが「ジェパディ！」で勝利：些細な出来事ではない. New York Times, February 17th 2011: A1.

[18] King et al. (2009). 科学の自動化. Science, 324: 85-89.

[19] King (2011). ロボット科学者の台頭. Scientific American, January 2011.

[20] Legg (2008). 機械の超知能. 博士論文。 IDSIA.

[21] Hutter (2005). 普遍人工知能：アルゴリズム的確率に基づく逐次意思決定. Springer.

[22] Veness, Ng, Hutter, & Silver (2011). モンテカルロ法によるAIXIの近似. Journal of Artificial Intelligence Research, 40: 95-142.

[23] Tang, Shimizu, Dube, Rampon, Kerchner, Zhuo, Liu, & Tsien (1999). マウスの学習と記憶の遺伝的強化. Nature, 401: 63–69.

[24] Hochberg, Serruya, Friehs, Mukand, Saleh, Caplan, Branner, Chen, Penn, & Donoghue (2006). 四肢麻痺のある人による神経細胞集団を用いた補助装置の制御. Nature 442: 164-171.

[25] Bostrom (1998). 超知能が現れるまで、あとどのくらいか？ International Journal of Future Studies, 2.

[26] Kurzweil (2005). 特異点は近い. Viking.

[27] Chalmers (2010). 特異点：哲学的分析. Journal of Consciousness Studies, 17: 7-65.

[28] Baum, Goertzel, & Goertzel （刊行予定）. 人間並みのAIまで、あとどのくらいか？：専門家評価の結果. Technological and Forecasting Change.

[29] Grossberg (1992). ニューラルネットワークと自然知能. MIT Press.

[30] Martinetz & Schulten (1991). 「ニューラルガス」ネットワークが位相構造を学習する. 収録：Kohonen, Makisara, Simula, & Kangas (編), 人工ニューラルネットワーク (pp. 397-402). North Holland.

[31] de Garis (2010). 人工の脳. 収録：Goertzel & Pennachin (編), 汎用人工知能 (pp. 159-174). Springer.

[32] Schmidhuber (2010). ゲーデルマシン：完全に自己言及的な最適普遍自己改良器. 収録：Goertzel & Pennachin (編), 汎用人工知能 (pp. 199-223). Springer.

[33] Hutter (2010). 普遍的アルゴリズム知能：数学的なトップダウン・アプローチ. 収録：Goertzel & Pennachin (編), 汎用人工知能 (pp. 227-287). Springer.

[34] Yudkowsky (2010). 汎用知能における組織化の階層. 収録：Goertzel & Pennachin (編), 汎用人工知能 (pp. 389-496). Springer.

[35] Dreyfus (1972). コンピューターには何ができないか. Harper & Row.

[36] Penrose (1994). 心の影. Oxford University Press.

[37] Searle (1980). 心・脳・プログラム. Behavioral and Brain Sciences, 3: 417-457.

[38] Block (1981). 心理主義と行動主義. Philosophical Review, 90: 5-43.

[39] Asimov (1942). 堂々めぐり. Astounding Science Fiction, March 1942. Street & Smith.

[40] Anderson (2008). アシモフの「ロボット工学三原則」と機械メタ倫理. AI & Society, 22(4): 477-493.

[41] Kringelbach & Berridge, 編 (2009). 脳の快楽. Oxford University Press.

[42] Schroeder (2004). 欲求の三つの顔. Oxford University Press.

[43] Yudkowsky (2007). 願いに隠れた複雑さ.

[44] Smart (1958). 負の功利主義. Mind, 67: 542-543.

[45] Russell & Norvig (2009). 人工知能：現代的アプローチ 第3版. Prentice Hall. （1037ページを参照）

[46] Frijda (2009). 快楽の性質と機能について. 収録：Kringelbach & Berridge (編), 脳の快楽 (pp. 99-112). Oxford University Press.

[47] Aldridge & Berridge (2009). 快楽の神経符号化：腹側淡蒼球の「バラ色の眼鏡」. 収録：Kringelbach & Berridge (編), 脳の快楽 (pp. 62-73). Oxford University Press.

[48] Smith, Mahler, Pecina, & Berridge (2009). 快楽ホットスポット：脳内で感覚的な快楽を生み出す. 収録：Kringelbach & Berridge (編), 脳の快楽 (pp. 27-49). Oxford University Press.

[49] Guarini, (2006). 個別主義と道徳的事例の分類・再分類. IEEE Intelligent Systems 21(4): 22–28.

[50] Anderson, Anderson, & Armen (2005). 機械倫理に向けて：行為に基づく二つの倫理理論の実装. In Proceedings of the AAAI Fall 2005 Symposium on 機械倫理, Arlington, Virginia, November.

[51] Honarvar & Ghasem-Aghaee (2009). 倫理的な人工エージェントを作るための人工ニューラルネットワークによるアプローチ. Proceedings of the 8th IEEE international conference on Computational intelligence in robotics and automation: 290-295.

[52] Rzepka & Araki (2005). 統計は倫理のために何ができるか？：常識処理に基づく安全弁の構想. In Machine ethics: papers from the AAAI fall symposium. American Association of Artificial Intelligence.

[53] Gorman & Sejnowski (1988). ソナーの標的分類を学習した階層型ネットワークの隠れユニットの分析. Neural Networks, 1: 75-89.

[54] Yudkowsky (2008). 地球規模のリスクにおける正と負の要因としての人工知能. 収録：Bostrom & Cirkovic (編), 地球規模の壊滅的リスク. Oxford University Press.

[55] Omohundro (2008). AIの基本的な駆動力.

[56] Bostrom & Cirkovic, 編 (2008). 地球規模の壊滅的リスク. Oxford University Press.

[57] Yudkowsky (2004). 整合的に外挿された意志. Machine Intelligence Research Institute.

[58] Azoulay-Schwartz, Kraus, & Wilkenfeld (2004). 活用と探索：不完全情報の環境における供給者の選択. Decision Support Systems, 38: 1-18.

[59] Caplan (2008). 全体主義の脅威. 収録：Bostrom & Cirkovic (編), 地球規模の壊滅的リスク. Oxford University Press.

[60] Yudkowsky (2007). 知能の力.

[61] Bainbridge (2005). NBIC応用の調査. 収録：Bainbridge & Roco (編), ナノ・バイオ・情報・認知分野のイノベーションを管理する：社会における技術融合. Springer.

[62] Sandberg & Bostrom (2011). 機械知能に関する調査, Technical Report 2011-1, Future of Humanity Institute, Oxford.

執筆：ルーク・ミュールハウザー。

このページは2013年時点の情報に基づいており、MIRIまたはルーク・ミュールハウザーの現在の見解を反映しているとは限りません。最終更新：2015年11月10日（原本）。