ある領域(問題のクラス)内での機械の性能は、潜在的に次の水準になりうる。
- 最適(これ以上は改善不能)
- 強く超人的(すべての人間より有意な差で優れる)
- 弱く超人的(ほとんどの場合にすべての人間より優れ、常にほとんどの人間より優れる)
- 人間並み(大部分の人間と同程度の成績で、一部では優れ、別の一部では劣る)
- 人間以下または人間未満(大部分の人間より成績が悪い)
超知能は、すべての認知領域にわたって「強く超人的」であるか、少なくとも「最適」である。論理的三目並べでは人間に勝てないが、そこで最適にプレイする。現実世界で行われる三目並べに強く勝ちたいと望むなら、相手プレイヤーを妨害し、より豊かな「現実世界」の盤上で超人的な戦略を用いるかもしれない。
I. J. Goodは元来、同じ概念を表すために「超々知能」を使った。「超々知能機械を、いかに賢い人間であっても、そのあらゆる知的活動をはるかに凌駕できる機械と定義しよう」。
仮想のエージェントまたは過程が「超知能的」だと言えば、通常、高度なエージェントの性質をすべて備えることを含意する。
超知能もなお有界である(物理法則の性格が物理学の標準模型と少しでも似ているなら)。超知能は(おそらく)無限に賢くも、無限に速くもなく、全知でもなく、利用可能な資源と選択肢を使って記述可能なあらゆる結果を達成できるわけでもない。しかし、次の点に注意が必要である。
- 超新星の温度は無限ではないが、それでもかなり熱い。「有界」は「小さい」を含意しない。超新星は有限の温度しか持たない、と正しいが役に立たない推論をした後、標準的な難燃性作業服を着て超新星へ歩み入ろうとしてはならない。
- 超知能はすべてを知るわけではなく、あらゆる量を完全には推定できない。しかし、あるものが「超知能的」、またはあらゆる認知領域で超人的/最適だと言えば、その推定はほぼ常に、あらゆる人間および人間集団に対して認識論的に効率的であることを含意するはずである。超知能でも、太陽内の水素原子数を正確には推定できないかもしれない。しかし人間が、「水素原子はかなり軽いから、おそらく数を10%過小評価するだろう」と言えるはずはない。超知能もそれを知っている。私たちが超知能よりよく知ることは、非公開情報を持たず、6か月前にMicrosoft株が20%値上がりすると予測できることと、少なくとも同程度にありそうにない。
- 超知能は全能ではなく、記述可能なあらゆる結果を得られるわけではない。しかし「超知能的」と言うなら、少なくとも人間に対して道具的に効率的であると仮定すべきである。超知能がある方策
\pi_0を実行する一方、より多くのエージェントの効用を得られる方策\pi_1を人間が思いつける、と仮定すべきではない。別の言い方をすれば、効用関数U,を最適化する超知能が方策\pi_0,を追求するという主張は、私たちに分かる限り\mathbb E[U | \pi_0] < \mathbb E[U | \pi_1].を満たす何らかの\pi_1を観察したなら、既定では反証される。効率的なエージェントが\pi_1を行うかは分からない。私たちが予見していない、さらに優れた代案があるかもしれない。しかし、\pi_0.を行わない可能性は非常に高いと見るべきである。
仮想の超知能について話しているなら、おそらく知能爆発が起きたと仮定しているか、長期間の進歩が近づく極限状態について話している。
AIアラインメントにおける多くの/大部分の問題は、完全な超知能に達する前の時点で初めて現れるはずである。高度なエージェントについての言説を精密にするプロジェクトの一環として、「この問題は超知能へ近づく際に現れる」と言うより、鍵となる高度なエージェントの性質を正確に特定するよう努めるべきである。超知能の仮定は通常十分だが、必要であることはほとんどない。
書籍については、Nick Bostromの著書『Superintelligence』を参照。