具体的なシナリオを検討すると、「ASIの導入後も、政府には効果的に対応する時間がある」といった、ASIをめぐる最終局面についてのさまざまな誤った想定を正す助けになる。ASIによる絶滅シナリオにおいて、比較的起こりそうに思える大まかな特徴には、次のようなものがある。
- 秘密裏の行動。 ASIは、先制攻撃を成功させられると確信するまでは、開発者にも世間にも、懸念を抱くきっかけを与えたがらないだろう。もし目に見える活動をするとすれば、それはおそらく、混乱を引き起こすか、その他の方法で重要な関係者の注意をそらすためだ。
- 自己改良とハードウェアの獲得。 ソフトウェアの改良、ハードウェアのさらなる最適化、ハードウェアの増設は、いずれもASIがより速く考え、より質の高い判断を下すことを可能にする。「自己改良」は、同じ目的を最適化する、まったく新しいAIを構築することへと連続的につながっていく場合もある。
- 対人操作。 ASIが物理世界で自由に行動できるようになるまで、あるいは現実世界で使える機械をより高性能なものへと発展させるまでに人間の支援が必要なら、ASIは対人操作によって、最初のうちは人間に手伝わせようとするだろう。この「操作」は、作業の重要性やAIの関与を明かさず、インターネット上の誰かにお金を払って作業を頼むという程度のものでもよい。
- 科学研究と実験。 これには、インターネット上のすべての科学論文を読むこと、科学文献から新たな結論を導いたり文献同士のつながりを見いだしたりすること、シミュレーションで実験すること、物理世界で実験することなどが含まれうる。
- 急速に自己複製する微生物や微小な機械の構築。 小さなスケールで動作すれば、現実世界での行動はより速くなり、多くの場合、発見もされにくくなる。指数関数的な自己複製によって、ASIは改変した微生物やナノスケールの機械を一つ用意するところから出発し、自己改良や資源採掘などのための大規模なインフラ整備へ、あるいは致死率100%のウイルスなど、決定的な威力を持つ兵器へと発展させることができる。
- 予想外の出来事。 ASIは、人間の誰よりもはるかに巧みに、膨大な次元を持つ空間を探索する。その思考はどの人間とも大きく異なり、科学的進歩を次の進歩へとつなげ、私たちが今日理解している事柄からますます遠ざかっていくことができる。さらに、予想外の戦略は防御しにくいため、ASIは意図的にそうした戦略を好む可能性が高い。
こうしたことをすべて踏まえると、ASIによる支配がどのように起こるかを細部まで予測しようとしても、成功の見込みは薄い。ある種類のシナリオが可能だという原理実証を示し、ASIが何をなしうるかについて大まかな下限を定めることは期待できる。だがそれは、実際に起きる一連の出来事を予測することとは違う。
私たちは、ASIが物事を稼働させ続けるために人間を必要とする期間は短いと予想している。経済的なインセンティブを考えると、今後数年、人々はインフラの制御をAI(およびAIがハッキングできるシステム)にますます委ねていくだろう。また、ASIは人間を操作したり、報酬を支払ったりすることで、独立して動作し、しかもより速く稼働するインフラの開発を手伝わせられると私たちは考えている。
この過程は、きわめて速く進みうる。人間が工学的な作業、軍事行動、インフラ整備を行う速さは、それらが実行可能な速さの限界には遠く及ばないからだ。
自然界の構造が示しているように、物理法則はどのような機械を許しているのか、考えてみよう。藻類は、1日足らずで個体数を倍増させられる、太陽光を動力とする自己複製工場とみなすことができる。樹木は、大量の建築資材を主に空気から作り上げる(炭素固定)。しかも、生物のエネルギー効率や材料強度は、理論的な限界にはまったく届いていない。
ASIは少なくとも、生物界にすでに存在するものに匹敵する科学的・工学的な成果を達成できるだろう。たとえば、致死性の病原体を秘密裏に開発して地球全体に広めたり、人間の仕事を代わりに行う生物を設計したりできる可能性が高い。
自然界で観察できる生物システムは、ASIシステムの能力の上限を定めるものではない。むしろASIは、生物や生体材料に限らず、目的を達成するためのミクロおよびマクロな機械をゼロから構築できる可能性のほうが高いだろう――私たち自身がそのような機械をすでに与えていなければ、の話だ。だが、この低いほうの能力水準でも、ASIが急速に人間に取って代わるにはすでに十分なのである。