非公式日本語訳 — Machine Intelligence Research Institute (intelligence.org) の原文をAGI Hubが翻訳したものです。MIRIによる公式の翻訳ではありません。

← 翻訳一覧

リチャード・ポズナーが論じるAIの危険性

原題: Richard Posner on AI Dangers / Analysis

原文クレジット(WordPress投稿者表示): Luke Muehlhauser / 掲載元: Machine Intelligence Research Institute (intelligence.org) / 原文公開日: 2013-10-18

訳文状態: 校閲済み(原文対照レビュー実施)

ポズナーリチャード・ポズナーは、法律家、法理論家、経済学者です。40冊近くの著書があり、20世紀で最も多く引用された法学者として、ほかを大きく引き離しています。

ポズナーが2004年に出版した『Catastrophe: Risk and Response』では、AGIがもたらすリスクをかなり詳しく論じています。その分析が興味深い理由の一つは、今日この話題の中心にあるボストロムとユドコウスキーの思想的な流れから、独立しているように見えることです。

実際、ポズナーはこの話題に関する先行研究、すなわちI・J・グッド(1970年、1982年)、エド・フレドキン(1979年)、ロジャー・クラーク(1993年、1994年)、ダニエル・ウェルドとオーレン・エツィオーニ(1994年)、ジェームズ・ギップス(1995年)、ブレイ・ウィットビー(1996年)、ダイアナ・ゴードン(2000年)、クリス・ハーパー(2000年)、コリン・アレン(2000年)の仕事を知らないようです。ハンス・モラヴェック(1990年、1999年)、ビル・ジョイ(2000年)、ニック・ボストロム(1997年、2003年)、エリエゼル・ユドコウスキー(2001年)の仕事さえ知りません。要するに、レイ・カーツワイル(1999年)しか知らないようなのです。

それでも、ポズナーの分析の多くは、ボストロムとユドコウスキーの系譜における基本的な論点と一致しています。

[破局的リスクの一類型]は……科学上の事故、たとえば粒子加速器、ナノテクノロジー……そして人工知能に関わる事故である。こうしたリスクは技術によって生じるのだから、技術の進歩を遅らせることが適切な対応であるかもしれない。

……いつの日か、それも近いうちに(何世紀も先ではなく、数十年先に)、人間並みの知能を持ち、[そのすぐ後には]人間を超える知能を持つロボットが現れるかもしれない……。

……人間は21世紀のチンパンジーという立場になるかもしれない。そうなれば、ロボットは私たちをほとんど役に立たないと見なし、ろくに顧みないかもしれない。私たちが、同じ霊長類の仲間でありながら人間ではない動物たちに対して、そうしているように……。

……ロボットが潜在的に持つ破壊力は、意識があるかどうかや、[たとえば感情の処理を]行えるかどうかには左右されない……。慎重にプログラムしなければ、ロボットは無差別に破壊を行い、自分を作った者たちに牙をむくかもしれない。

……「コンピューターがひとたび人間の水準の知能に達すれば、必ずやそれを一気に追い越す」というカーツワイルの見方は、おそらく正しい……。

大きな相違点の一つは、ポズナーが、AGIが自己を意識するようになり、目標を見直し、もう「自分より頭の悪い種族に指図されたくない」と決めるシナリオを懸念している点のようです。これに対し、ボストロムとユドコウスキーがAGIを危険だと考えるのは、人間に「反乱」を起こすからではありません。大まかに言えば、強力なAGIがどのような最終目標を持っていても、ほぼ例外なく、利用可能な資源をすべて使うことが、手段として共通して追求される目標、いわゆる収束的な道具的目標になるからです。その資源には、人間が生きていくために必要なものも含まれます。(たとえばボストロム、2012年を参照。)