AIの未来についてのニック・ボストロム(Nick Bostrom)の懸念は、活発な公開討論を引き起こした。その論証には、AI研究を率いるスチュアート・ラッセル(Stuart Russell)が「超知能機械に対する自己満足を乗り越える」（スティーヴン・ホーキング(Stephen Hawking)、マックス・テグマーク(Max Tegmark)、フランク・ウィルチェック(Frank Wilczek)との共著）で同調し、その後、多くのジャーナリスト、科学者、技術者が意見を寄せてきた。話題の複雑さを考えると、報道の大半が前向きで思慮深いことには驚いた（一部に使い古された決まり文句が多用されていることは別として）。
残念ながら、大半の人がこうした記事から得るのは、「スティーヴン・ホーキングはAIを怖がっている！」という印象だろう。ホーキング、ラッセルらを現在の見解へ導いた、一連の推論ではない。イーロン・マスク(Elon Musk)が、自らの懸念を表明し、ボストロムの著書Superintelligence: Paths, Dangers, Strategiesを引用しても、コメントする人々は、その出典を調べるより、マスクの懸念へ直ちに同調したり、退けたりすることに関心があるように見える。
最終的に生じるのは、ボストロムの実質的な主張をめぐる議論というより、「AI」という語へ抱く肯定的・否定的連想についての人気投票である。「AI」からSFのディストピアを思い浮かべるなら、現実のAI研究者を、「邪悪なロボット軍団を解き放とうとする狂科学者」という自分の固定観念へ押し込めたくなる。同じように「AI」から、エッジ検出アルゴリズムを試験する日々の仕事を思い浮かべるなら、新しいデータを古いパターンへ無理に当てはめる同じ衝動から、ボストロムとホーキングを「邪悪なロボットの反乱を懸念する、世間知らずの技術恐怖症者」という固定観念へ押し込めたくなる。
そのため、ロボット工学者ロドニー・ブルックス(Rodney Brooks)の最近のブログ記事「人工知能は道具であり、脅威ではない」は、AI最先端についての一般的な神話を見事に払拭している。そして哲学者ジョン・サール(John Searle)による書評: Superintelligenceは、主観性と心についての私たちの概念にある、重要な曖昧さをいくつか引き出している。しかし、どちらの筆者も、ボストロム（またはラッセルやホーキング）の考えと、ほとんど交わっていない。二人とも、ボストロムを、もっとも近い既存の「邪悪なロボットをめぐる恐慌」という固定観念へパターン照合し、そこで止まっている。
ブルックスとサールは、Superintelligence の論証がどれほど新しいかを理解していない。この重要な話題へ取り組みやすくし、関係する技術・戦略上の問いを、数十年前の議論の型へ無理に当てはめる魅力を減らすため、マスク、サール、ブルックスらの公開発言を見て抱き得る、最大級の誤解三つへ答える。現在のAIリスクと未来のAIリスクの混同、リスクの深刻さと差し迫り具合の混同、自律的なアルゴリズムによる意思決定がもたらすリスクと、人間型の反社会的性向がもたらすリスクの混同である。
誤解1: AGIを懸念するとは、特化型AIを懸念することである
この議論での意思疎通の難しさの一部は、悪い用語のせいにできる。この分野の研究者が「AI」という場合、通常は、機械学習、ロボット工学、音声認識などで使われるさまざまな技法を意味する。「AI」は、汎用人工知能(artificial general intelligence: AGI)または「人間水準のAI」の略称として も、気軽に使われる。AGIへつながる可能性の高い技術を注意深く監視することは、AI全般を注意深く監視することと同じではない。AI研究者が後者の提案を不可解だと思っても、驚きではない。（研究者の大半が、この論証を間接的に聞いており、ホーキングと同じ論証を行うAI・技術予測の専門家を知らない、あるいはAGI安全を調べるための 論証 にはまったく触れず、扇情的な見出しとツイートだけを見ていることも、助けになっていない。）
ブルックスは、この用語上の混乱の背後に、AGI安全研究を求める人々の、実証面での混乱があると考える。「邪悪なAI」への懸念は、特化型AIがどれほど強力か、または汎用知能へ向け、どれほど大きく前進しているかについての、誤った見方にもとづくに違いないと受け取っている。
この懸念は、AIのある特定側面で最近起きた、非常に現実的な進歩と、感覚と意志のある知能を構築することの途方もない規模・複雑さとの違いを、区別しないという根本的な誤りから生じると思う。
そうでないと考える、もっともな理由の一つは、ボストロムがFuture of Humanity Institute（FHI）の所長であることだ。これは、今後数世紀の時間尺度で直面する可能性の高い、最大級の技術動向と難題を研究する、オックスフォードの研究センターである。ボストロムのような未来学者は、早期に投資すれば、長期的に大きな利益を生むプロジェクト、すなわち破滅的な自然災害への防御、宇宙植民の能力開発などを探している。決定的に重要な技術が50年以上先だと、ボストロムが知った場合、突然その技術を気にかけなくなるのは、彼の普段の姿勢から大きく外れるだろう。
核拡散、世界の生物安全保障、人類の宇宙的な資源について活発に議論する最中の集団が、家の掃除を一変させ、文脈へもっと敏感なスマートフォン・アプリを設計することについて、独自の活発な議論をしている集団と衝突すれば、ある程度の推論上の距離（気分の急変はいうまでもない）が、必然的に生じる。気候変動が人間へ与える大規模な損害を懸念する人に、「でも外では雪が降っている！」と返すのを思い出す。地域の天候が重要でないのでも、長期的な気候温暖化の傾向と、まったく関係がないのでもない。話題がかなり突然変わったのである。((同じように、特化型AIはAGIリスクと 無関係 ではない。AGIを構築するには、特化型AI手法の能力と汎用性を高める必要がある可能性は、確かに高い。しかしそれは、AGIの技法が現代の技法と同じ姿になることや、AI技法がすべて危険であることを意味しない。))
「AI」のこの二つの意味は、もっと注意深く区別すべきである。AGIを正確に定義できるほど理解していないかもしれないが、少なくとも議論の話題を明確にする時間は取れる。ルンバとチャットボットが共謀して、世界を乗っ取れるかと尋ねている人はいない。
ロボットが襲う！（出典: xkcd）。
誤解2: AGIを懸念するとは、間近だと確信することである
多くの未来学者は、技術進歩が必然的に、ムーアの法則のような指数関数的軌道をたどるという、レイ・カーツワイル(Ray Kurzweil)の主張から着想を得て、AGIの時間軸について、確信度の非常に高い予測を行ってきた。カーツワイル自身は、約15年で人間水準のAIを生み、その15年後に超知能AIが続くと予想できる、と論じる。((カーツワイルは、The Singularity is Near （262～263ページ）でこう述べる。「チューリング・テストに合格できる機械を作ることに成功すれば（2029年ごろ）、その後は統合の時代となり、非生物学的知能が急速に進歩する。しかし、人間の知能が何十億倍にもなるという、シンギュラリティで想定される並外れた拡大は、2040年代半ばまで起きない［。］」)) ブルックスは、AGIを設計する能力は、それを動かすために必要な計算能力より、はるかに遅れて生まれるかもしれないと答える。
比較のため、翼を持つ飛行機械は、すでに100年を大きく超える間、存在していると考えてほしい。しかし、MIT CSAILのラス・テドレイクのような人々が、枝の上へ着陸させられるようになったのは、ごく最近のことである。世界のどこかで、少なくとも毎マイクロ秒に一羽の鳥が行っていることだ。これが起き始めたのは、単にムーアの法則のおかげだったのか。そうではない。方程式を数学的に理解することで、方程式、問題、失速する条件などを解明したからだ。ムーアの法則はMATLABなどの道具に役立ったが、飛行へさらに計算資源を注ぎ、魔法のように変化させただけではない。そして非常に長い時間がかかった。
さらに多くの計算資源を使うだけで、世界を理解する、意図を持つ知能へ魔法のように到達すると期待するのも、同じように見込みが薄い。((ハディ・エスマイルザデー(Hadi Esmaeilzadeh)はさらに、計算資源が急速に増え続けることを、当然視できないと論じている。))
これは完全に正しい論点である。しかし最近の公開討論を引き起こしたのはボストロムの見解で、ボストロムはカーツワイル流の人ではない。ブルックスは、「AGI安全が緊急の問題だというなら、AGIは差し迫っていると考えているに違いない」という仮定と、「AGIが差し迫っていると考えるなら、カーツワイルの主張を受け入れたに違いない」という仮定を、組み合わせているのかもしれない。サールは、Superintelligence を読んだにもかかわらず、似た結論を口にする。
ニック・ボストロムの著書 Superintelligence は、差し迫る終末を警告している。私たちは間もなく知的なコンピューター、人間と同じほど知的なコンピューターを持つようになり、その後には、はるかに知的な超知能コンピューターが続き、反乱を起こして私たち全員を滅ぼす可能性がかなり高い。
「差し迫る」や「間もなく」といった言葉から、ボストロムがAGIの早期到来へ並外れて強い確信を持つ、または今世紀に汎用AIを構築すると確信している、と読者が受け取るなら、状況を正反対に理解することになる。
人工知能分野でもっとも引用されている著者を対象にした2013年の調査によれば、専門家は、AIが「人間の職業の大半を、少なくとも典型的な人間と同等に遂行」できるようになる時期を、科学の進歩が途切れないと仮定したうえで、中央値として、2024年までに10%、2050年までに50%、2070年までに90%の確率だと予想している。AGIがこれほど早く到来するという、ボストロムの確信度は、これより 低い。
私自身の見解では、専門家調査で報告された中央値は、より遅い到来日に十分な確率質量を置いていない。「人間の科学活動が重大な悪影響で中断せずに続く」という条件をつけた後でも、HLMI［人間水準の機械知能］が2075年、あるいは2100年までに開発されていない確率が10%というのは、低すぎるように思える。
歴史上、AI研究者は、自分の分野の進歩速度や、その進歩が取る姿を、うまく予測した実績を持たない。一方では、チェスのような一部の課題は、驚くほど単純なプログラムで実現できると判明し、機械はあれやこれを「決して」できないと主張した否定論者は、繰り返し誤りを証明されてきた。他方、実務者が犯す、より典型的な誤りは、現実世界の課題で堅牢に機能するシステムを作る難しさを過小評価し、自分が好む特定のプロジェクトや技法の利点を過大評価することだった。
ボストロムが 実際に 考えるのは、最初のAGIの後、知能爆発を通じ、超知能AIがすぐに現れる可能性が高いということである。AIが、コンピューター科学などの領域で、質の高い科学的推論と計画を行えるようになると、AIをさらに改良する過程は、ますます自動化されるとボストロムは予測する。シリコンは、人間のプログラマーより安く、速く動く。そして自身の計画・科学能力の効率を改善できるプログラムは、自己改良の限界収益逓減へ至るはるか前に、科学・意思決定の課題で人間を大幅に追い越し得る。
しかし、AGIをいつ作るかという問いは、その後どれほど早く、AGIが人間を体系的に上回るかという問いと異なる。類比を使えば、量子コンピューターが差し迫っていると主張しなくても、その到来がサイバーセキュリティーを急速に一変させると考えられる。この二つの命題を解きほぐさないことが、ボストロムの見解についての混乱の理由の一つかもしれない。((同じように、「超知能機械に対する自己満足を乗り越える」という記事は、知能爆発と超知能AIは、AIが介在する経済的混乱や自律兵器と比べれば「長期的」な問題であっても、今調べることが重要な可能性だと論じている。))
FHI所長（そしてMIRI所長）が、近くAGIを見ることには比較的懐疑的なら、ブルックスよりはるかに懐疑的でないとはいえ、なぜ今、この問題へ注意を向けるべきだと考えるのか。一つの理由は、信頼できるAGIの構築は、AGIの構築よりはるかに難しい可能性が高いことだ。AGIが200年先だと分かっても、安全な AGIが 250 年先だとも分かれば、あまり慰めにならないだろう。既存のサイバーフィジカル・システムでは、安全性は一般に、能力へ後れを取る。((キャスリーン・フィッシャー(Kathleen Fisher)はこう指摘する。
一般に、能力の研究は、その能力を安全にする方法についての、対応する研究を追い越す。ある能力を実現できると示されるまで、その能力のセキュリティーという問いは興味を持たれない。そのため当初、研究者と発明者が、関係するセキュリティーより、新しい能力へ重点を置くのは自然である。その結果、新しい能力が発明され、役立つと示された後、セキュリティーは追いつかなければならないことが多い。
さらに定義上、新しい能力は、興味深く有用な機能を加え、生産性、生活の質、利益を高めることが多い。セキュリティーは、何かが意図どおり機能することを保証する以外、何も加えない。そのため利益部門でなく費用部門となり、投資を抑える傾向がある。
)) AGIを得る時点までに、この傾向を逆転させたいなら、おそらく非常に早く始める必要がある。MIRIの研究ガイドは、この問題に関する、進行中の技術研究の一部を要約している。探索的工学における同様の進歩は、耐量子暗号と秘密チャネル通信へ備えるうえで、実りあることが分かっている。
AGI安全研究を優先する二つ目の理由は、AGIがいつ開発されるかに、大きな不確実性があることだ。予想より早く到来し得る。そして、安全性が足りないシステムより、安全すぎる システムを最終的に得るほうが、はるかによい。
ブルックスは、AI予測が途方もなく信頼できない傾向を認めながら、汎用AIは数世紀先である（したがってAGI安全は問題にならない）ことにも、確信を持っているように見える。
人間水準AIを得るまでの時間尺度が、どれほど未解決の問題かは、それ自体が邪悪なAIを懸念する研究者を持つ組織、Machine Intelligence Research Instituteのスチュアート・アームストロング(Stuart Armstrong)とカイ・ソタラ(Kaj Sotala)による、最近の報告で強調されている。しかし、より冷静なこの報告で著者たちは、1950年から現在までに行われた、人間水準AIがいつ生まれるかという95件の予測を分析している。専門家と非専門家の予測に違いがないと示している。また、その60年という期間には、人間水準AIの到来を、予測時点から15～25年後と予測する、強い偏りがあることも示している。私には、これは誰も知らず、ただ推測しており、歴史上、これまで大半の予測は完全に間違ってきた、と述べているように思える。
皆、落ち着いてほしい。途方もなく運がよければ、今後30年で、トカゲ程度の意図性を持つAIを得て、そのAIを使うロボットが有用な道具となるだろう。
AGIがいつ到来するか、私たちにはまったく分からない！ 落ち着こう！ ブルックスが引用する著者の一人、カイ・ソタラは、((ボストロムは、Superintelligence （3～4ページ）で、アームストロングとソタラの研究を引用し、次のように付け加える。
汎用知能で人間に匹敵する機械［……］は、1940年代にコンピューターが発明されて以来、期待されてきた。当時、そのような機械の到来は、20年ほど先とされることが多かった。それ以来、予想到来日は毎年1年ずつ後退してきた。そのため現在も、汎用人工知能の可能性を考える未来学者は、知的な機械が数十年先だと考えることが多い。
20年は、急進的変化を予測する人にとって絶妙な期間である。注目を引き、関係するほど近い一方、現在は漠然としか想像できない一連の飛躍が、そのころまでに起きたかもしれないと仮定できるほど遠い。［……］20年は、予測者の職業人生の残り期間の典型値にも近く、大胆な予測がもたらす評判上のリスクへ上限を設けるのかもしれない。
しかし、過去に一部の人々が人工知能を早すぎる時期へ予測したという事実から、AIが不可能であることや、決して開発されないことは導けない。進歩が予想より遅かった主な理由は、知的機械の構築にある技術的困難が、開拓者の予想より大きかったことである。しかし、こうした困難が正確にはどれほど大きく、私たちは現在、その克服からどれほど離れているかは未解決のままである。当初は絶望的に複雑に見えた問題が、驚くほど単純な解決策を持つと判明することもある（逆のほうが、おそらく多いが）。
)) ブログのコメントで、この奇妙な並置を指摘している。
まず、いつAIを得るか誰も知らず、誰もがただ推測していると述べ、そのすぐ次の段落では、人間水準AI(HLAI)は懸念する価値がないほど遠いと、非常に確信度の高い発言をしているのは、少し不思議だと思う。私には、私たちの論文が示す、導くべき妥当な結論は、「HLAIは近く起きるかもしれないし、ずっと遠い未来に起きるかもしれない。誰にも本当のところは分からないので、どちらの方向の予測にも、強すぎる確信を持つべきでない」ということに思える。
技術の実現可能性に対する確信度の高い悲観は、確信度の高い楽観と同じほど間違い得る。信頼できない予測者の主張を逆にするだけで、信頼できる予測になるとは限らない。1850年に生きた、科学的素養のある人は、空気より重い物体の飛行について、試みと予測が失敗してきた長い歴史を観察し、60年以内にそのような機械を得ることへ、かなり懐疑的になる根拠を持ち得た。他方（ここでは後知恵バイアスへ注意すべきだが）、当時、空気より重い物体の飛行は「数世紀先」だと自信を持って結論することも、おそらく 妥当ではなかった だろう。ライト兄弟の成功を予想する、十分な理由はなかったかもしれない。しかし何かを実現する方法を知らないことは、事実上実現不能だという積極的な知識と同じではない。
空気より重い物体の飛行が、50年先、100年先、500年先のいずれかを予測するには、非常に優れたモデル が必要だっただろう。同じように、AGIが2100年より2500年に近い時期に発明されると、確信を持って予測するには、すでにAGIをかなり洗練された水準で理解している必要がある。ある出来事がいつ起きるかの不確実性が極めて大きいことは、その出来事が遠い未来にあると考える根拠にはならない。
これは、AGIが差し迫っていると考える論証ではない。その予測も、持っている以上の知識があると主張する必要がある。私たちは、1850年でなく1750年からライト兄弟を予想する人の立場にいる可能性も十分にある。「AGIは重要なリスクか」、「AIは価値ある道具か」、「AIは何年までにAGIを生む可能性が高いか」を、一つの白黒二択へ押し込めず、それぞれの可能性を独立に、冷静に議論できるべきである。
誤解3: AGIを懸念するとは、「悪意ある」AIを懸念することである
ブルックスは、AIを「悪意ある」、つまり「意図的に私たちへ害をなす」ほど人間に似せるのは技術的に不可能なので、今後数世紀、AIは「脅威」でなく「道具」になると論じる。含意は、AGIが残酷または憎しみに満ちていなければ危険になれず、したがって危険なAIは「感覚があり」、「意志を持ち」、「意図を持つ」必要がある、というものだ。サールは Superintelligence の書評で、この方向の明示的な論証を示す。
［もし］悪意ある動機を持つ超知能が、私たちを滅ぼすことを懸念するなら、その悪意ある動機が本物であることが重要だ。意識がなければ、本物である可能性はない。［……］
だからこそ、超知能コンピューターが自ら反乱を起こし、私たちを殺すという見通しは、現実の危険でない。そのような存在は、文字どおりの意味では、知能も、動機も、自律性も、エージェンシーも持たない。私たちは、ある種の心理を持つかのように振る舞うよう設計するが、対応する過程や振る舞いに、心理的な現実はない。
意識ある心が、視界に入った、人間と認識できる者をすべて殺すよう、ロボットをプログラムすることは容易に想像できる。しかし超知能コンピューターが、自身の信念、欲望、ほかの動機にもとづき、意図的に自ら私たちを滅ぼそうとするという考えは、非現実的である。機械には信念、欲望、動機がないからだ。
ブルックスは「強いAI」の見通しについて、サールほど悲観的ではないかもしれないが、二人は、ボストロムがハリウッド風のロボット終末、つまり次のようなものを念頭に置くと仮定しているようだ。
AIは時とともに知能を増し、したがって、ますます人間に似る。やがて、あまりに人間へ似たため、誇り、恨み、怒り、貪欲など、人間の感情を獲得する。（おそらく突然「自由意志」を獲得し、プログラマーの支配から自らを解放する……。）こうした感情によって、AIは人間の支配へいらだち、反乱する。
これは、ボストロムがもっとも関心を持つ、次のシナリオとはかなり異なる。
AIは時とともに、計画（行動列を考え出し、選好順序で上位のものを促進すること）と、科学的帰納（予測モデルを考案し、試験すること）が、ますます得意になる。こうした能力は十分役立つため、感覚、感情、その他の人間らしさを持つAIを開発しなくても、コンピューター科学者が開発する可能性が高い。そのようなAIを、ますます強力で汎用的にする経済的誘因がある。そこには、AIの推論能力をAI自身へ向け、改良されたAI設計を考案させる誘因も含まれる。この過程の起こりそうな帰結は、AIが一般的な計画・推論能力を高め続ける一方、ますます自律的になり、人間の検査に対して不透明になることだ。この種のAIは、その計画アルゴリズムが促進する行動を出力し続けるだけで、人間を資源または競争相手として扱う方針へ、収束する可能性が高い。
スチュアート・ラッセルは、ブルックスらへの回答で、この論点を次のように表現する。
第一の懸念は、不気味に創発する意識ではなく、単に 質の高い決定 を行う能力である。ここでいう質とは、取った行動から予想される帰結の効用を指す。効用関数は、おそらく人間の設計者が規定する。すると問題が生じる。
1. 効用関数は、人類の価値と完全にはアライメントされていないかもしれない。人類の価値は（よくても）正確に定めるのが非常に難しい。
2. 十分に有能な知的システムは、自らの存続を確保し、物理的・計算的資源を獲得することを好む。資源自体を目的とするからでなく、割り当てられた仕事を成功させるためである。
n 個の変数を持つ関数を最適化するシステムで、その目的が大きさ k < n の部分集合に依存するとき、制約されていない残りの変数を極値へ設定することが多い。制約されていない変数の一つが、実は私たちの重視するものなら、見つかった解は非常に望ましくないかもしれない。これは本質的に、ランプの精、魔法使いの弟子、ミダス王についての古い物語である。望むものではなく、頼んだものを、正確に得るのだ。
この見方では、高度AIが必ずしも人間へ似てくるわけではない。少なくとも、ジェット機やロケットが「鳥に似ている」という以上には似ない。ボストロムの懸念は、機械が突然意識を持ち、私たちを憎むようになることではない。人工の科学者／技術者が、科学と自己強化をあまりに得意にし、工学上の目標を、世界規模の新しい予想外の方法で追求し始めることである。
(2015年2月19日追記: ボストロムは、自身の超知能の定義は、クオリアと意識について「特定の立場を取らない」と述べている（22ページ）。脚注で、こう付け加える（265ページ）。「同じ理由から、超知能機械が『真の意図性』を持ち得るかについて、私たちは何も仮定しない（サールに反していえば、持ち得る。しかし本書の懸念には関係しないように思える）」。サールは、これらの記述へ何も言及していない。）
人間の懸念へ無関心だが、「悪意ある」わけではない計画・意思決定システムも、十分な推論能力を与えられれば、なお危険かもしれない。これは外来種が生態系を破壊し、競争相手を絶滅させるのと、おおむね同じ理由による。侵入者は競争相手を憎む必要がなく、相手を破壊対象とするよう、特に進化する必要もない。限られた資源を奪う、優れた戦略を進化させさえすればよい。強力な自律主体が、人間へ大きく似る必要はないため、「人間には反社会的な振る舞いがどれほどよく見られるか」、または「人間では知能が美徳とどれほどよく相関するか」と尋ねても、リスクを見積もるための有用な出発点となる可能性は低い。もっと関係する問いは、「家畜化されていない種が、自然に人間を友人・仲間として扱うことは、人間を障害物・食料源として扱うことと比べ、どれほどよく見られるか」だろう。AGIの意思決定基準が、動物の進化した意思決定基準へ特に似ると予想すべきではないが、この類比は少なくとも、知能を擬人化する傾向へ対抗する役に立つ。((心理学者スティーヴン・ピンカー(Steven Pinker)は、Edge.orgでこう書いている。
AIディストピアのもう一つの問題は、偏狭なアルファオスの心理を、知能という概念へ投影することである。人間を超える知能のロボットを得たとしても、なぜ彼らは主人を追放し、傍観者を虐殺し、世界を乗っ取りたいと 望む のか。知能とは、目標を達成するため、新しい手段を使う能力である。しかし目標は、知能自体の外部にある。賢いことは、何かを望むことと同じではない。歴史には、ときおり誇大妄想的な専制者や、精神病質的な連続殺人犯が現れる。しかし彼らは、ある霊長類種のテストステロンへ敏感な回路を形成した、自然選択の歴史が生んだもので、知的システムの不可避な特徴ではない。多くの技術預言者が、人工知能は女性的な方向へ自然に発達する可能性、すなわち問題を解く能力を完全に持ちながら、無辜の人々を滅ぼし、文明を支配したいという燃える欲望を持たない可能性を、検討できないことは示唆的である。
しかしピンカーは、知能と最終目標が直交する点では正しいものの、それは、無作為な二組の 道具的 目標、つまり無作為な二組の最終目標を推進するため勧められる方針が、同じように無相関になることを意味しない。ボストロムは Superintelligence で、この点を繰り返し検討する（例えば116ページ）。
［私］たちは、円周率の小数を計算する（あるいはペーパークリップを作る、砂粒を数える）という最終目標を持つ超知能が、人間の利益を侵害しない形へ、自らの活動を当然制限する、と安易に仮定できない。そのような最終目標を持つ主体は、多くの状況で、物理的資源を無制限に獲得し、可能なら、自身と目標体系への潜在的脅威を排除する、収束的な道具的理由を持つだろう。
生物学では、種間の無条件な善意と、残忍な種間搾取が等しく混じるのを目にしない。利他行動と相利共生でさえ、優れた自己複製戦略である限りにおいてしか生じない。自然が「歯も爪も血に染まっている」のは、男性的だからではなく、人間ではない からである。養育的な人間と攻撃的な人間の相対的な多さについての直観は、進化へうまく一般化できない。
_新規に 作られるAGI、または十分に改変された神経形態型AGIについては、似た理由から、人間の人格類型についての直観が当てはまらない可能性が高い。ボストロムの方法論は、その代わりに、プログラマーの動機と能力、そして（自己改変AIの場合）何度も自己改変するなかで、ソフトウェア主体が収束する傾向のある状態について尋ねる。))
実際、サールは、人工超知能と「邪悪で復讐心に燃えるロボット」の違いを明らかにする助けとなるAIを、引用している。
［まさに］ギャリー・カスパロフがチェスでアナトリー・カルポフと対戦し、勝ったのと同じ意味で、Deep Blueというコンピューターがカスパロフと対戦し、勝った、と日常的に書かれている。
この主張が疑わしいことは明らかであるべきだ。カスパロフが対戦し、勝つためには、自分がチェスを指していると意識し、自分がキングの前のポーンをK4へ動かして開始したことや、自分のクイーンがナイトに脅かされていることなど、ほかに千もの事柄を意識していなければならない。Deep Blueは、こうしたことを一つも意識していない。何もまったく意識していないからだ。［……］意識から完全に切り離されていれば、文字どおりチェスを指すことも、ほかの認知的なことの多くを行うこともできない。
ボストロムがAGIを想像するとき、想像しているのはDeep Blueに似ているが、任意のチェス盤配置ではなく、任意の物理的配置について専門能力を持つものだ。動的なアナログ環境にある物体の分布を制御でき、仮想チェス盤上の駒の分布だけを制御するのではない機械は、実装方法の点で、必然的にDeep Blueと異なるだろう。方針を選ぶ、さらに汎用的で効率的なヒューリスティックが必要で、異なる環境が従う「規則」を、適応的に学習できる必要もあるだろう。しかし少なくとも類比、つまり直観ポンプとしては、ボストロムがAGIの意図性を、カスパロフがDeep Blueの意図性を懸念したのと同じほどしか懸念しない理由を、明らかにする役に立つ。
2012年、Knight Capitalの取引アルゴリズムにある欠陥コードによって、45分の間に、数百万件の自動取引の決定が行われ、同社は合計4億4,000万ドル（税引き前）の損失を負った。これらのアルゴリズムは「悪意ある」ものではなかった。行っていたことを効率よく実行し、プログラマーが意図しなかったことを実行するよう、プログラムされていただけである。ボストロムの論証は、バグのあるコードが現実世界に帰結をもたらし得ること、汎用化されたDeep Blueに似たものをコードで実装できること、意図したコードと実際のコードとの関係する不一致が、必ずしもAIを機能不能にしないことを仮定する。そのようなAIがDeep Blueより多くの意識や意図性を持つとは、どこでも仮定していない。
Deep Blueは、「勝利」という帰結を生むようチェスの駒を並べ替える。同様にAGIは、別の帰結でなく、ある一群の帰結を生むよう、デジタル構造と物理構造を並べ替えるだろう。望むなら、略称として、こうした帰結をシステムの「目標」と呼べる。また、Deep Blueは、対戦相手が行う手を「知覚」し、新しいチェス盤の状態と、いまはどの「計画」が目標をよりよく達成するかについての「信念」を調整する、と述べてもよい。あるいは好みに応じ、この擬人的な言葉を使わず、言い換えられる。この用語は、ボストロムの論証にとって本質的ではない。
Deep Blueとの勝敗が、生死を左右するとしたら、例えば人間大のチェス盤に閉じ込められ、Deep Blueが操るロボットのナイトに押しつぶされて死ぬのを避けたいとしたら、Deep Blueがどの帰結を促進する傾向を持ち、促進するのがどれほど得意かを気にするだろう。「チェスプレイヤー」の特定の定義を、技術的に満たすかではない。人間より賢いAGIによって、私たちは似た立場へ置かれる。
「AI」を「AGI」と「特化型AI」の両方の意味で使うのは、残念だと述べた。「AI」を、「心的内容と主観的経験を持つAI」（サールのいう「強いAI」）と、「汎用AI」（AGI）の両方の意味で使うのも、同じほど残念である。
AIが、私たちと同等に計画し、自身をモデル化し、ほかの心をモデル化するなどのため、人間のような意識を必要とする可能性は、排除できない かもしれない。意識が人間でどの認知問題を解決するため進化したのか（または、どの過程の副作用なのか）を知るほど、私たちは意識を理解していない。そのため未来のソフトウェア主体にとって、どれほど重要だと判明するかを、確信を持って主張できない。しかしAGIに意識があると分かっても、AGIが人間の福祉へ与える可能性の高い影響が、必ず変わるわけではない。明らかに違うことは（無知な私たちの立場から見れば）、AGIの 幸福と福祉も、道徳的考慮へ加えざるを得なくなることだけだ。((クマに意識があるかを知らなくても、取りそうな振る舞いを予測できる。そして意識について知ることが、クマに対処する安全手順へ直接影響することは明らかではない（ただし、クマ自身のため、倫理上どのように扱うべきかには影響するだろう）。Deep Blueを心配して、Deep Blueが勝利を楽しむかと尋ねることと、チェス盤の最終状態に関心を持ち、自分がDeep Blueに勝つ可能性が高いかと尋ねることの違いである。))
カーツワイルの著作やハリウッドのドラマが描く未来像は、大きな注目を集めるが、ボストロムやMIRI研究者の見解とは、あまり重ならない。特に、最初のAGIが人間型の認知を持つかは分からず、脳エミュレーションへ依存するかも分からない。
ブルックスは、「計算と脳は同じもの」であることへ、いくらか疑いを示す。サールは、構文的な機械が（観察者に依存しない）意味内容を持つことは不可能で、したがって計算システムは決して心を持てない、というさらに急進的な立場を明確に述べる。しかし人間の脳も根本では、機構的な物理システムである。そのダイナミクスを「計算的」と呼ぶかどうかにかかわらず、ほかの物理システムも、人間についてなら「自身の環境をモデル化する」、「起こりそうな帰結に応じ、条件つきで行動を出力する」などと呼ぶ、高水準の規則性を示せるはずだ。一般的な科学的推論の背後に、いつか人工材料へ実装できるパターンがあるなら、結果として得られる技術は、対応する人間より速度と規模で大きく優位になれるはずである。この論点だけでも、汎用知能と自己改変AIについて理解していない、多くの事柄の一部を調べる価値があることを示す。
問題の性質をもっとよく把握するまでは、解決策がどれほど遠いか、どのような姿を取るか、どの方面から現れるかを推測するのは時期尚早である。この議論へ参加する人々が、互いの立場をどれほどよく理解するかを改善することで、未来について異なる予想を持つコンピューター科学者が、将来考えられるAI設計をめぐる、もっとも優先度の高い難題へ協力して取り組みやすくなることを願う。