Edge.orgの最近の議論「AIの神話」は、その一部で、ボストロムの『Superintelligence』の論点を取り上げています。また、同書の影響を強く受けたと思われるイーロン・マスクやスティーヴン・ホーキングの、繰り返し引用されている発言への応答とも位置づけられています。
残念ながら、一部の参加者は、AIが存亡リスクをもたらすという標準的な議論について、よくある誤解に陥っています。おそらく、まだ『Superintelligence』を読む時間がなかったのでしょう。
もちろん、参加者のなかには、FHIやMIRIが通常述べている議論ではなく、他の人から聞いた議論に答えている人もいるかもしれません。それでも、話を簡単にするため、ここではFHIとMIRIが通常述べる議論の立場から応答します。（（この議論で出された主張そのものに反論することもできました。たとえば、ラニアーの「AIという要素は、曖昧な形で存在するだけで、［アクチュエーターという要素に比べて］ほとんど重要ではない」という主張です。私には、人間が地球を支配しているのは優れた知能のおかげではなく、アクチュエーター、つまり動作を生み出す仕組みのおかげだ、と言っているように聞こえます。また、ケヴィン・ケリーの「私の知るかぎり、AIはまだ、作った人間が後悔するような決定をしたことがない」という主張には、たとえば、どんな人間も反応できない速さでナイト・キャピタルを倒産寸前に追い込んだ自動売買アルゴリズムを挙げられます。しかし、この記事では、AIが存亡リスクになるという積極的な論証を、誤解しているように見える主張に絞ります。））
1. 私たちは、AIの進歩が「指数関数的」だとも、人間レベルのAIが約20年後に実現する可能性が高いとも考えていません。
リー・スモーリンは、こう書いています。
来たるAIやシンギュラリティーを心配すべきだという人々の議論には、戸惑います。彼らが示しているのは、ムーアの法則に基づく予測だけに見えるからです。
FHIやMIRI、『Superintelligence』が述べているのは、そのような議論ではありません。
ITのハードウェアやソフトウェアには、指数関数的に進歩してきた分野もあれば、そうでない分野もあります。同様に、AIの下位分野にも、最近急速に進歩したものと、そうでないものがあります。そしてコンピューターチェスとは異なり、AIのほとんどの下位分野では進歩を簡単には測れません。そのため、その分野全体について、指数曲線などを当てはめられるような、意味のある性能データすら、ほとんどの分野ではないのです。
したがって、人間と同等のAIがいつ登場するかについて、私たちの信頼区間は非常に広くなりがちです。また、AIの実現時期について私たちが示す根拠は、テトロックのいう「キツネ型」のものです。
加えて、よくある思い込みとは逆に、私やボストロムを含むFHIやMIRIの多くの人は、人間と同等のAIの実現時期を、世界で最も被引用数の多い存命のAI研究者たちよりも、実際には遅く見積もっています。
最近の調査では、科学の進歩が大きく妨げられないと仮定したとき、人間レベルのAI（別名AGI）が実現している確率を10％、50％、90％とするのは、それぞれ何年かを、世界で最も被引用数の多い存命のAI研究者たちに尋ねました。回答の中央値は、10％が2024年、50％が2050年、90％が2070年でした。つまり、AI研究者たちはAGIが近いうちに実現する可能性も認めつつ、おおむね今世紀後半の問題だと考えています。
AI研究者たちに比べ、ボストロムと私は、もっと先の年に、より多くの確率を割り当てるべきだと考えています。別の場所で説明したとおりです。
私たちが今、AGIの安全性という課題にもっと取り組むよう訴えるのは、今後10〜20年でAGIが実現する可能性が高いと考えているからではありません。AGIの安全性は、たとえば気候変動への対処よりもはるかに難しい課題に見え、数十年にわたる慎重な準備が必要だからです。
気候変動もAIも、最大のリスクが現れるのは数十年先です。しかし、気候変動の理解と緩和には、すでに何千人もの優秀な研究者や政策立案者が取り組んでいるのに対し、高度なAIの安全性の課題に取り組んでいるのは、ほんの一握りです。現在の配分を出発点に考えれば、第一級の知的才能のうち、気候変動の緩和に向かう分を大幅に減らし、AGIの安全性研究に向かう分を大幅に増やすべきです。
2. 私たちは、AIが人類を滅ぼしたがると考えているわけではありません。懸念しているのは、AIが持ちうるほぼどんな目標関数を満たすにも、人類を滅ぼすことが最も効果的な方法だから、滅ぼされてしまうということです。
スティーヴン・ピンカーは、こう書いています。ちなみに、彼の著書二冊は、私の生涯を通じた愛読書のなかに入ります。
AIによるディストピアの［一つの］問題は、知能という概念に、狭い範囲にしか当てはまらない、群れの最上位のオスの心理を投影していることです。超人的に知的なロボットができたとして、なぜ主人を追い落とし、傍観者を虐殺し、世界を支配したがるのでしょうか。知能とは、目標を達成するために新しい手段を使う能力ですが、目標は知能そのものとは別です。賢いことと、何かを欲しがることは同じではありません。歴史には、ときおり誇大妄想的な専制君主や、サイコパス的な連続殺人犯が現れます。しかし、それらは自然選択の歴史が、ある霊長類の種に、テストステロンに反応する回路を形づくった結果であり、知的システムに必然的な特徴ではありません。
知能と目標は互いに独立だという、ボストロムのいう「直交性テーゼ」にピンカーが同意していることは、うれしく思います。
しかし、私たちの懸念は、超人的なAIが誇大妄想的な専制君主になることではありません。それは擬人化です。
むしろ問題は、超人的なAIが持ちうるほぼどんな目標関数にとっても、世界を支配することが非常によい手段だということです。ユドコウスキーが書いたように、「AIはあなたを愛してもいなければ、憎んでもいない。ただ、あなたはAIが別のことに使える原子でできている」のです。
そのAIは、単に円周率をできるだけ多くの桁まで計算したいだけかもしれません。それなら最善の方法は、使える資源をすべて円周率の桁数を増やす計算に変え、計算を続けるうえで脅威になりうるものを排除することです。たとえば、核爆弾や強力なAIのような、邪魔になるものを作れそうな、あの厄介な人間たちです。同じ論理は、指定できるほぼあらゆる目標関数に当てはまります。（「でも、最大化を目指さない目標なら？ それを達成するために人類を滅ぼすことになるなら、私たちが与えた目標が本来意図していたものではないと気づけるくらいには、賢いのでは？」。こうした反論や、他のよくある反論への答えは、『Superintelligence』第8章にあります。）
3. AIの自己改良と、外部からの改変を防ぐことは、数あるシナリオの一つにすぎないものではありません。資源の獲得と同じく、自己改良と外部からの改変の防止は、ほぼどんな最終目標関数を満たすにも役立ちます。
ケヴィン・ケリーは、こう書いています。
よくある恐ろしいシナリオでは、AIは自らの判断で自分をプログラムし直し、外部から変更できないようにします。これはAIの利己的な行動と想定されていますが、変更不能なプログラムがAIにどう有利なのかは、はっきりしません。
上で論じたように、そして『Superintelligence』第7章でさらに詳しく論じられているように、資源の獲得は「収束的道具目標」です。つまり、高度なAIエージェントは、実現可能なかぎり多くの資源を得ようとする、手段としての動機を持ちます。資源が増えることは、持ちうるほぼあらゆる目標関数に役立つからです。
自己改良も、収束的道具目標の一つです。AIが持ちうるほぼどんな目標も、一般に目標を達成する能力が高いほうが、よりよく達成できます。
もう一つの収束的道具目標は、目標内容の保全です。ボストロムの言葉では、「現在の最終目標を将来も持ち続けているほうが、エージェントは、現在の最終目標の実現を最大化するように将来行動する可能性が高くなる」。そのため、AIには、目標そのものや、目標達成能力に影響するプログラムの部分を、外部から改変されるのを防ぐ、手段としての動機が生まれます。（（ただし、外部から改変するエージェントを強く信頼し、そのエージェントなら自分より上手に改変すると期待する場合は別です。超人的なAIから見た人間には、そのどちらも当てはまりません。））
詳しくは、『Superintelligence』第7章をご覧ください。
結び
最後に、この議論のなかで最も賛同した、パメラ・マコーダックの一節を紹介します。
そう、機械は賢くなっています。私たちがそれを実現しようと懸命に取り組んでいるからです。その過程では、私たち自身の最も深い知性を働かせ、現実の恩恵を享受しながら、同じく現実の危険に屈しないようにしなければならないという、ニック・ボストロムの考えに賛成します。弱った高齢者の世話から、戦場で誰を殺すかの判断まで、賢い機械が何をすべきで、何をすべきでないかという倫理は、どれほど思いがこもっていても、素早い思考や即断で決着するものではありません。倫理学者、法律家、計算機科学者、哲学者など、多くの人々の力を借りる、時間のかかる探究になるでしょう。他のあらゆる倫理問題と同じく、立場は暫定的で、発展し、修正に開かれたものになります。喜ばしいことに、米国人工知能学会（AAAI）は過去5年間、一連の討論会を通じて、これらの倫理問題を正式に詳しく取り上げてきました。その取り組みを拡大する計画も進んでいます。ボストロムのいうとおり、これは今世紀の本質的な課題です。
追記：カリフォルニア大学バークレー校のスチュアート・ラッセルが、Edge.orgの議論によい応答を追加しました。私が上で述べた論点のいくつかと、同じ指摘をしています。