非公式日本語訳 — Machine Intelligence Research Institute (intelligence.org) の原文をAGI Hubが翻訳したものです。MIRIによる公式の翻訳ではありません。

← 翻訳一覧

ASIによる支配は、たとえばどのように起こりうるのか?

原題: What’s an example of how ASI takeover could occur?

原文クレジット: 記載なし / 掲載元: Machine Intelligence Research Institute (intelligence.org) / 原文公開日: 2025-02-24

訳文状態: 校閲済み(原文対照レビュー実施)

具体的なシナリオを検討すると、「ASIの導入後も、政府には効果的に対応する時間がある」といった、ASIをめぐる最終局面についてのさまざまな誤った想定を正す助けになる。ASIによる絶滅シナリオにおいて、比較的起こりそうに思える大まかな特徴には、次のようなものがある。

こうしたことをすべて踏まえると、ASIによる支配がどのように起こるかを細部まで予測しようとしても、成功の見込みは薄い。ある種類のシナリオが可能だという原理実証を示し、ASIが何をなしうるかについて大まかな下限を定めることは期待できる。だがそれは、実際に起きる一連の出来事を予測することとは違う。

私たちは、ASIが物事を稼働させ続けるために人間を必要とする期間は短いと予想している。経済的なインセンティブを考えると、今後数年、人々はインフラの制御をAI(およびAIがハッキングできるシステム)にますます委ねていくだろう。また、ASIは人間を操作したり、報酬を支払ったりすることで、独立して動作し、しかもより速く稼働するインフラの開発を手伝わせられると私たちは考えている。

この過程は、きわめて速く進みうる。人間が工学的な作業、軍事行動、インフラ整備を行う速さは、それらが実行可能な速さの限界には遠く及ばないからだ。

自然界の構造が示しているように、物理法則はどのような機械を許しているのか、考えてみよう。藻類は、1日足らずで個体数を倍増させられる、太陽光を動力とする自己複製工場とみなすことができる。樹木は、大量の建築資材を主に空気から作り上げる(炭素固定)。しかも、生物のエネルギー効率や材料強度は、理論的な限界にはまったく届いていない。

ASIは少なくとも、生物界にすでに存在するものに匹敵する科学的・工学的な成果を達成できるだろう。たとえば、致死性の病原体を秘密裏に開発して地球全体に広めたり、人間の仕事を代わりに行う生物を設計したりできる可能性が高い。

自然界で観察できる生物システムは、ASIシステムの能力の上限を定めるものではない。むしろASIは、生物や生体材料に限らず、目的を達成するためのミクロおよびマクロな機械をゼロから構築できる可能性のほうが高いだろう――私たち自身がそのような機械をすでに与えていなければ、の話だ。だが、この低いほうの能力水準でも、ASIが急速に人間に取って代わるにはすでに十分なのである。