| 私たちの立場を簡潔にまとめたものです。より詳しい説明は、「問題の所在」をご覧ください。 |
|---|
I. 人工超知能の開発を今のまま進めれば、その帰結は人類の絶滅です。
「人工超知能」（ASI） とは、経済・科学・軍事など、戦略上重要なあらゆる活動において、人類を大幅に上回る能力を持つAIを指します。
ASIの実現までにどれほどかかるかは、きわめて不確かですが、おそらく長くはありません。 今の進み方であれば、MIRIは2年後や5年後にASIが開発されても驚きません。一方、実現までまだ20年以上かかるとすれば、驚くでしょう。
AI開発機関は、自分たちにも理解できていないシステムを、積極的に世に送り出しています。 ここ数年のAIの急速な進歩を支える深層学習の手法は、巨大なニューラルネットワークを自動的に作り出します。そうしてできるモデルは、ブラックボックスのようなものです。何が入力され、何が出力されるかは見えますが、内部を見ても、見えるのは何兆個もの数値だけです。AI開発者は、現代のAIがなぜある選択をしたのかを説明できません。（詳しくはこちら）
十分に知的なAIは、自らの持続的な目標を持つようになる可能性が高いと考えられます。 現実世界で複雑な長期の課題をこなす最善の方法は、長期的な目的を揺るがず追求しながら、あらゆる障害や気をそらすものを回避して進む、きわめて汎用的な能力と傾向を備えることです。現在のAIは主に短期的な課題を得意としていますが、より自律性の高いエージェントへと改良されつつあり、こうした現象がようやくわずかに見え始めたところです。（詳しくはこちら）
開発者が望む目標をASIに持たせられるようになるまでには、まだ大きな隔たりがあるように見えます。 正しい目標を持つASIを作ることは、そもそもASIを作るという課題とは別の、それ自体が大きな科学的課題です。現状では、この問題に対する堅牢な解決策を、ASIに適用できる時期までに研究分野全体で見つけられる可能性は、きわめて低いように思われます。（詳しくはこちら）
価値ある目標を持たないASIは、きわめて高い確率で私たちを絶滅させるでしょう。 ASIが価値ある目標を持たなければ、利用できるすべての資源を獲得し、一元的に支配し、利用しようとするでしょう。そのやり方は、私たちが生き延びることと両立しません。AIに、人間のような支配欲や自律への欲求がある必要はありません。開発者の目標とは別の何らかの目標に向けて、有能に最適化を進める存在であれば、それで十分なのです。（詳しくはこちら）
II. 私たちが生き延びられるかどうかは、できるだけ早くASIの開発に歯止めをかけ、必要なだけ長く、その実現を遅らせられるかにかかっていると考えられます。
ASIに対して「様子を見る」という姿勢では、おそらく生き残れません。 超知能の敵対者は、能力の全容を明かしたり、意図を前もって知らせたりはしません。対等な勝負にも応じません。決定的な一撃を加えられるようになるか、誰にも崩せない戦略的な立場を手に入れられるようになるまで、あるいはその両方が可能になるまで、自分を欠かせない存在にしたり、発見されないようにしたりするでしょう。（詳しくはこちら）
目標が私たちと合致しない（ミスアラインされた）ASIに対し、実用になる手早い解決策や、問題を回避する手立ては、MIRIには見えていません。 ChatGPTを開発したOpenAIも、AIを望む方向へ導くための現在の主要な手法は、人間を超える水準には通用しないと認めています。自分より優れた知性を抑え込んだり、欺いたりする試みは、私たちには予想できない形も含めて、失敗しがちです。より弱いAIを使ってASIを人間の意図に沿わせる計画も、同様に危ういものです。十分な資金を投じた緊急の集中研究開発計画でアラインメント問題の解決を目指しても、十分な解決策を正しく見極められるとは、私たちは考えていません。現時点での私たちの見解では、安全に進む道を開くには、おそらくASIの実現を長期にわたって遅らせる必要があります。（詳しくはこちら）
ASIの実現を遅らせるには、おそらく、その生産に必要な要素を厳しく管理することも含め、世界的に足並みをそろえて開発を禁止する必要があります。 大きな要求ですが、国内の監督体制と、それをいくつかの緊密な同盟国がまねるだけでは足りません。「悪い」人々より先に「正しい」人々が開発すればよい、という話ではないのです。ASIは国家の兵器ではなく、世界全体を巻き込む自爆装置だからです。誰かが作れば、みんな死ぬのです。
十分な政治的意思があるとき、あるいは生まれたときに、ASI開発を停止するという選択肢を残しておくため、MIRIは「停止スイッチ」を速やかに整備するよう提唱しています。 停止スイッチとは、AIの開発と配備に対する制限を、実効性を持って継続的に執行するための制度と基盤を指します。その出発点は、関係する主体を特定し、該当するハードウェアを追跡し、高度なAIの開発作業を、監視と安全管理の行き届いた限られた数の場所で行うよう義務づけることです。さらに、こうした制限を課す決定を効率よく下せるよう、手順・計画・指揮系統を整備することも含みます。停止スイッチは、より限定的なAI事故にも対処する力を高められるため、全面禁止よりも幅広い支持を近い将来に得られることを期待しています。（詳しくはこちら）
停止スイッチによってASIによる人類絶滅を防げるのは、それが十分な範囲に及び、実際に使われて、手遅れになる前に開発を止めた場合だけです。 人類がこの危険な時期を生き延びるには、AIを国家間の競争の場として扱うのをやめ、脅威に見合う決意を、力を合わせて示さなければなりません。