（3月29日、『TIME』に掲載。）
本日発表された公開書簡は、「GPT-4より強力なAIシステムの訓練を、すべてのAI研究所が少なくとも6か月、直ちに一時停止すること」を求めている。
この6か月間の停止措置は、停止措置がないよりよい。声を上げて署名した全員を尊敬している。少しは改善となる。
私が署名を控えたのは、この書簡が状況の深刻さを控えめに述べ、解決に必要なものより少ないことを求めていると思うからだ。
重要な問題は（公開書簡の言う）「人間と競争できる」知能ではない。AIが人間より賢くなった後、何が起きるかだ。そこにある重要な閾値は明白でないかもしれず、何がいつ起きるかを事前に計算することは絶対にできない。そして現状では、研究所が気づかずに重大な一線を越えることも想像できるように思える。
私を含め、こうした問題へ深く関わってきた多くの研究者は、現在と少しでも似た状況で人間を超える知能のAIを作った場合、最も可能性の高い結果は、文字どおり地球上の全員が死ぬことだと予想している。「ひょっとすると、わずかな可能性がある」という意味ではなく、「明らかにそうなる」という意味だ。原理的に、自分よりはるかに賢いものを作って生き延びられないわけではない。しかし生き延びるには、精密さ、準備、新しい科学的洞察が必要であり、おそらく巨大で不可解な小数の配列から成るAIシステムを使わないことも必要になる。
その精密さと準備がなければ、最も可能性の高い結果は、私たちが望むことを行わず、私たちも、感覚を持つ生命全般も気にかけないAIである。その種の気づかいは、原理的にはAIへ組み込める可能性がある。しかし私たちは準備できておらず、現在その方法を知らない。
その気づかいがなければ、「AIはあなたを愛しても憎んでもいない。そしてあなたは、AIが別のことに使える原子でできている」という結果になる。
人類が敵対する超人的知能へ立ち向かった場合、全面的に敗北する可能性が高い。妥当な比喩には、「10歳の子どもがStockfish 15とチェスを指そうとする」、「11世紀が21世紀と戦おうとする」、そして「アウストラロピテクスがホモ・サピエンスと戦おうとする」がある。
敵対的な超人的AIを思い描くとき、インターネット内に住み、悪意あるメールを送る、生命を持たず知識だけは豊富な思考者を想像してはいけない。人間の数百万倍の速度で考える異星文明全体が、当初はコンピューターに閉じ込められているところを想像してほしい。その世界の生き物は、AIの観点では非常に愚かで遅い。十分に知的なAIが、コンピューターの中へ長くとどまることはない。現在の世界でも、DNA配列を研究所へメールで送り、求めたタンパク質を作らせることができる。これにより、当初インターネットに閉じ込められたAIが、人工生命体を作ったり、生物を介さない分子製造へ一足飛びに進んだりできる。
現在の条件で、誰かが強力すぎるAIを作れば、その直後、人類の一人残らず、そして地球上のすべての生物が死ぬと予想する。
そのようなことをして生き延びる方法として、提案されている計画はない。OpenAIが公然と表明した意図は、将来の何らかのAIにAIアライメント（AI alignment）の宿題をさせることだ。これが計画であると聞くだけで、良識ある人なら誰でも恐慌を来すには十分なはずだ。もう一つの主要なAI研究所、DeepMindには計画がまったくない。
余談を一つ。この危険は、AIに意識があるか、意識を持ちうるかには一切依存しない。強力に最適化し、十分に複雑な結果基準を満たす出力を計算する、強力な認知システムという概念に内在する。そうは言っても、巨大で不可解な配列の中で起きることを解読する方法が分からないため、AIシステムに自己認識があるかを判断する方法もまったく分からない、と併せて述べなければ、人間として道徳的な義務を怠ることになる。したがって私たちは、真に意識があり、権利を持つべきで、所有されるべきではないデジタルの心を、いつか意図せず作るかもしれない。
こうした問題を知る人の大半が50年前なら支持したであろう規則は、AIシステムが流暢に話し、自分には自己認識があると述べ、人権を要求するなら、人々がそのAIを何気なく所有し、その段階を越えて使い続けることへ、断固として歯止めをかけるべきだというものだった。私たちはすでに、砂上に引いたこの古い一線を通り過ぎた。そしてそれは、おそらく正しかった。現在のAIは、おそらく訓練データにある自己認識についての発言を模倣しているだけだということに、私は同意する。しかしシステムの内部についてこれほどわずかな洞察しかない以上、私たちは実際には知らないのだという点を記しておく。
GPT-4についてそれほど無知な状態にあり、GPT-5がGPT-3からGPT-4と同じ大きさの能力上の飛躍になるなら、人々にGPT-5を作らせた場合、「おそらく自己認識はない」と正当化して言うことは、もはやできないと思う。単に「分からない。誰にも分からない」となる。自己認識のあるAIを作っているか確信できないなら、「自己認識」の部分が持つ道徳的な含意だけでなく、自分が何をしているかまったく分からないという意味でも危険信号である。それは危険であり、停止すべきだ。
2月7日、MicrosoftのCEOサティア・ナデラ（Satya Nadella）は、新しいBingがGoogleを「表に出てきて、踊れることを示す」よう仕向けると公然と勝ち誇った。「私たちが彼らを踊らせたのだと、皆に知ってほしい」と彼は述べた。
正気の世界で、MicrosoftのCEOがこのように話すことはない。それは、私たちが問題をどれほど深刻に受け止めているかと、30年前からどれほど深刻に受け止める必要があったかとの間に、圧倒的な隔たりがあることを示す。
6か月でその隔たりを埋めることはできない。
人工知能という概念が初めて提案・研究されてから、今日の能力へ達するまで、60年以上かかった。超人的知能の安全性を解決すること――完全な安全ではなく、「文字どおり全員を殺さない」という意味での安全――には、その半分以上の時間がかかってもまったく不思議ではない。超人的知能でこれを試す際の問題は、最初の試みで間違えれば、死んでいるため、間違いから学ぶ機会がないことだ。私たちが歴史上克服してきたほかの難題のように、人類が間違いから学び、埃を払い、もう一度試すことはない。私たちは全員いなくなるからだ。
科学でも工学でも、初めて本当に重大な試みで何であれ正しく行うよう求めることは、並外れた要求である。私たちは成功に必要な方法と少しも似ていない方法で臨んでいる。数千台の車を通す橋へ適用される、もっと低い水準の工学的厳密さを、汎用人工知能(Artificial General Intelligence, AGI)という黎明期の分野へ適用すれば、この分野全体は明日閉鎖されるだろう。
私たちは準備できていない。妥当な時間幅で準備できる軌道にもいない。計画はない。AI能力の進歩は、AIアライメントの進歩どころか、システム内部で一体何が起きているかを理解する進歩よりも、はるかに、はるかに先行している。これを本当に行えば、私たちは全員死ぬ。
こうしたシステムに取り組む多くの研究者は、私たちが破局へ突き進んでいると思っている。公の場より私的な場で、そうあえて言う人のほうが多い。しかし自分だけでは前進を止められず、自分が仕事を辞めても他者が続けると思っている。そのため皆、どうせなら続けようと考える。これは愚かな事態であり、地球にとって尊厳のない死に方である。今こそ人類の残りが介入し、業界の集合行為問題（collective action problem）を解くのを助けるべきだ。
最近、何人かの友人が私へ報告したところでは、AI業界の外にいる人が、汎用人工知能(AGI)による絶滅リスクを初めて聞くと、「それならAGIを作らなければよいのではないか」と反応するという。
これを聞き、私はわずかな希望を感じた。この20年間、業界の誰かに事態を真剣に受け止めさせようとして聞いてきた反応より、単純で、もっと良識的で、率直に言って正気な反応だからだ。それほど正気に話す人は、実際の状況がどれほど悪いかを聞くに値し、6か月間の停止措置で解決すると言われるべきではない。
3月16日、パートナーが私へ次のメールを送った。（後に、ここで抜粋する許可をくれた。）
「ニーナ（Nina）の歯が抜けた！ 子どもなら普通にある形で、不注意のせいではない！ GPT-4が標準試験で圧倒的な成績を見せたのと同じ日に、ニーナが子ども時代の節目へ達するのを見て、感情の大波に一瞬足をすくわれた。すべてが速すぎる。これを伝えればあなた自身の悲しみを深めるのではないかと心配している。でも二人が別々に苦しむより、私を知っていてほしい。」
内部の会話が、娘の最初の歯が抜けるのを見て、成長する機会を得られないのではないかと考える悲しみについてであるなら、6か月間の停止措置をめぐって政治的な駆け引きをしている段階は、もう過ぎたと信じる。
6か月間の停止措置を成立させさえすれば、地球が生き延びる計画があるなら、その計画を支持する。そのような計画はない。
実際に行う必要があるのは、次のことである。
新たな大規模な一回の学習実行（訓練ラン）を停止する措置は、無期限かつ世界全体でなければならない。政府や軍を含め、例外は認められない。方針が米国から始まるなら、米国が優位を求めているのではなく、真の所有者を持ちえず、米国、中国、そして地球の全員を殺す、恐ろしく危険な技術を防ごうとしていることを、中国が理解する必要がある。法律を自由に書けるなら、インターネット上の文章で訓練せず、話したり計画したりし始める水準には達しない、生物学・生物工学上の問題だけを解くよう訓練するAIへ、一つだけ例外を設けるかもしれない。しかしそれが問題を少しでも複雑にするなら、その提案を直ちに捨て、すべて停止せよと言う。
大規模なGPUクラスター（最も強力なAIの改良・調整が行われる、大規模なコンピューター施設）をすべて停止する。大規模な訓練ランをすべて停止する。誰であれAIシステムの訓練に使える計算資源（コンピュート）の量に上限を設け、訓練アルゴリズムの効率向上を相殺するため、その上限を今後数年で引き下げる。政府や軍にも例外を設けない。禁止された活動が別の場所へ移るのを防ぐため、直ちに多国間協定を結ぶ。販売されるすべてのGPUを追跡する。協定外の国がGPUクラスターを構築していると情報機関が判断したなら、停止措置が破られることより、国家間の武力衝突を恐れてはならない。ならず者のデータセンターを空爆で破壊する意思を持つ。
何一つ国家利益間の対立として捉えてはならず、軍拡競争について話す者は愚かだと明確にする。この問題で、私たち全員が一緒に生きるか、一緒に死ぬかは、方針ではなく自然の事実である。AIによる絶滅のシナリオを防ぐことは、全面的な核戦争を防ぐことより優先され、AIの大規模な訓練ランがもたらすリスクを減らすため必要なら、同盟関係にある核保有国は核戦争が起きる一定のリスクを負う意思があると、国際外交で明示する。
それほどの政策変更が起きれば、パートナーと私は抱き合い、奇跡が起き、ニーナが生きられる可能性が生まれたかもしれないと話すだろう。これについて初めて聞き、良識をもって「やめたほうがよいのでは」と言う正気の人々は、それを実現するには何が必要かを正直に聞くに値する。そして政策要求がそれほど大きいなら、政策立案者が、普段どおり仕事をし、政治的に容易なことを行えば、自分の子どもも死ぬのだと理解する以外に、成立する道はない。
すべて停止せよ。
私たちは準備できていない。予見可能な将来、大幅に準備が進む軌道にもいない。先へ進めば全員が死ぬ。これを選ばず、何も悪いことをしていない子どもたちも含まれる。
停止せよ。
追記、3月30日：
左派のジョージ・オーウェル（George Orwell）から右派のロバート・ハインライン（Robert Heinlein）まで、よい人間であることも志した偉大な政治作家たちから、政治は強制力の上に成り立つと文章で認めることを教わった。
ジョージ・オーウェルは、銃弾を浴びた遺体と集団墓地が、曖昧な婉曲表現でしばしば語られることを、全体主義の戦術とみなした。このように代償を隠せば、残虐な政策はその代償を正当化せずに、大衆の支持を得られるからだ。
ロバート・ハインラインは、市民が銃を持っていないからといって、自分の法と平和を守るため銃を持つ警官や兵士より道徳的に優れているふりをするのは、市民の尊厳に反すると考えた。比喩的にも文字どおりにも、肉を食べるなら――彼は菜食主義者ではなかった――農場を訪れ、自ら鶏を屠殺してみる意思を持つべきだと考えた。
法律を成立させることは、その法律へ背く者が刑務所へ行き、刑務所から逃げようとすれば撃たれることを意味する。国際条約を提唱し、その条約が実効的であることを望むなら、家族を飢えさせる制裁や、人を直接殺す武力戦争を意味する場合がある。
こうしたことを実行すると脅しながら、結局は実行せずに済むことと、実行することは、道徳的にあまり異ならないと、私は言う。これは私を、オーウェル側よりハインライン側へ置くと認める。オーウェルはおそらく、税制度のある社会で、大半の人が税を払い、実際に刑務所へ行く人がごくわずかなら、道徳的に大きく異なると考える。オーウェルは、実際に死んだ遺体の数へ、もっと敏感である。また課税や規制によって貧しくなった人々についても、それが実際に起きれば、オーウェルは認識し気にかける。オーウェルにも一理あると思う。しかしハインラインにも一理あると思う。だから自分は中道派だと主張する。
いずれにせよ、ハインラインもオーウェルも、法律、条約、戦争には決して価値がないとは考えなかった。ただ、代償について正直であることを望んだ。
自由至上主義者のふりをする者全員――リベラルのふりさえしているようには見えない――のうち、私が代償について率直に書いたため、法律と条約を求める私の主張を「暴力」を求めるものとして引用した者は、オーウェルとハインラインの規則を守ったことへ罰を科した自分を恥じるべきだ。
私が提案した条約と法律は、それが要する強制力という代償に見合わない、と論じることはできる。私がその代償について率直に述べた意図は、誠実な論者がその反論を行う助けとなることだ。
条約と法律を求めることが暴力だ!! と装うのはヒステリーである。ハインライン／オーウェルの手順を守った者を罰するだけでなく、自由至上主義者はヒステリックだという広く流布した描写を助長する。（明確に言えば、多くの自由至上主義者――そして社会主義者、中道派、そのほか誰であれ――は実際にヒステリックで、特にTwitterではそうだ。）実際のテロリズムを促すことさえある。
しかし法律と条約を執行するため、最後に銃や空爆が必要なら、それは「暴力」ではないのか。ここで私は答える。合法的な強制力と違法な強制力には、実際に重要な区別がある。それ自体が常に正義と悪の区別であるとは限らないが、現実の重要な区別である。「暴力」という言葉の一般的で通常の用法は、しばしばその区別を指す。誰かが「暴力の使用を支持しない」と言うとき、一般的な用法と常識では、「襲いかかってきた強盗を殴ることを認めるべきではない」とか、「すべての課税を禁止せよ」という意味ではない。
繰り返すが、これは合法的な強制力がすべて善で、違法な強制力がすべて悪だという意味ではない。（『John Brown's Body』の）ジョン・ブラウンを擁護する議論はできる。
しかし実際、NIMBY（自分の地域への建設反対）規制を執行する市議会の誰かを撃つことを、私は支持しない。
NIMBY法は間違っていると思う。法律が最終的に強制力に支えられていると認めることは重要だと思う。
しかしそれは合法的な強制力である。そして、そう、そのことは重要だ。だから市議会議員を撃つことは社会へ害を及ぼす――
――そして撃った者が「彼らが暴力を振るっていた！」と言うなら、言葉の誤用である。
追記、3月31日：
ときには――初めて読む人なら誰にでも意図した読み方が直ちに明らかなことを言った場合でさえ――文章に存在しないものを見るよう人へ言い聞かせることが可能で、そうすると人々はそれを見る。
私の『TIME』の記事は、AIの大規模な訓練ランに反対する世界的協定への署名を拒む国へ、核攻撃することを提案していない。署名していない国が、地球の全員を殺しかねないデータセンターを構築しているなら、そのデータセンターを先制的に破壊する意思を持つべきだ、と述べた。意図した読み方は、署名していない国が核保有国であっても、そして攻撃に対し核で報復すると威嚇しようともなお、そうすべきだというものだ。「AIの大規模な訓練ランがもたらすリスクを減らすため必要なら、同盟関係にある核保有国は核戦争が起きる一定のリスクを負う意思があると……明示する」の意味はこれである。
先に内容について嘘を教えられていなければ、普通に読めば明らかであってほしい。訓練ランのリスクを減らすため、「核兵器を使用する意思を持て」とは述べていない。「核戦争が起きる一定のリスクを負う意思を持て」［相手国が開始する］と述べている。
核兵器の先制使用を禁じる規範は、今も妥当に思える。禁じるものの一覧へ「GPU施設の先制使用」を加える過程で、なぜそれを捨てる必要があるのか分からない。
さらに指摘しておく。これをすべて明記する理由の一つは、自国／同盟国に軍事力を使わせる事柄について、事前に明示することが重要だからだ。これが不明確だったため、第一次世界大戦も第二次世界大戦も始まった。
（たとえば）英国、米国、中国が、大規模なGPU訓練ランは自国民と全人類を完全に消滅させる一定のリスクがあると信じるようになれば、ロシアが大規模GPU施設の構築を進めることを認めるのは、たとえGPU施設を破壊すればロシアが核兵器で報復することが真実で確実な事実であっても、自国の利益になるとは判断しないだろう。この場合――このゲームがどう行われ、どう行われるべきかについて、私が本当に何かを見落としていない限り――同盟国すべてが、それを信じ、そう行動することを、ずっと前から極めて明確にする必要がある。これは、大規模GPU施設が人類を破壊するリスクをもつという命題が、現実には事実として誤っている世界でさえ当てはまる。それでも同盟国が何を信じ、その結果どう行動するかを極めて明確にすることが、非常に重要である。ロシアが通常兵器による攻撃へ核攻撃で応じると信頼できる形でコミットすれば、同盟国はGPU施設の破壊を断念するとロシアが信じる一方、実際には同盟国は、人類への危険のため、どちらにしてもGPU施設を空爆しなければならないと信じる、という状況は望ましくない。
したがって「協定への署名を拒む国へ、核兵器を先制使用する意思を持て」という意味だったなら、あるいは想像しがたい何らかの理由で、「ならず者のデータセンターを通常兵器ではなく核兵器で破壊せよ」という意味でさえあったなら、そのようなことを曖昧にすべきではないため、明確な言葉でそう述べただろう。
それは私の意図ではなく、そう言う理由もなく、『TIME』の記事にも明らかに書かれていない。ほかの誰かが私がそう言ったと話したのなら、それ以外のあらゆる事柄についても、その人をどこまで信用するか、認識を改めてほしい。
明確化しているついでに述べる。核不拡散など、大半の国際協定は署名国だけを拘束すると指摘した批判者たちへ、私は異議を唱えない。危険な行動を理由に、非署名国を攻撃する意図を宣言する同盟が、並外れたものであることには同意する。ただし前例には、1981年にイスラエルがイラクの未完成のオシラク（Osirak）原子炉へ行った空爆が含まれるだろう（この空爆がなければ、イラクはクウェート侵攻時に核兵器を保有していた可能性が十分ある。その後、米国がイラクをめぐり不正に振る舞ったことは、この以前の歴史上の点を変えない）。
私の『TIME』の記事は、「この問題は完全に通常の手段で解決できるはずだ。通常の条約と外交を使って解決しよう」と述べていない。「現在と少しでも似た条件で、誰かがどこかで十分に強力なAIを作れば、全員が死ぬ。それを防ぐには、これを行わなければならない」と述べている。
そして、現実の今、この政策案が採用されるとは予想していない。私はこの20年間、最終的な最後の手段が嫌いだからではなく――それが恐ろしいことではあるが――私たちには実際、その手段が残されていないと予想するため、「これ以外」の選択肢が残るよう努力してきた。この最後の手段まで追い込まれた今、それが起きるとは予想していない。私たちは全員死ぬと予想する。だからこそ、ここへ行き着かないよう懸命に努力した。
しかし、ある日、多くの人々が目を覚まし、死にたくないと決めたなら、これは核保有国の連合が実行を決められる並外れた何かであり、私たちは死なずに済むかもしれない、と私には思える。
地球上のすべての国が自発的に署名しなければならないなら、その場合でさえ、想像できる実行可能な計画ではない。並外れたことと、不可能なことは違う。だから同盟国が、「非署名国が構築したGPU施設を空爆する意思を持つ」、「核保有の非署名国から核報復を受けるリスクを負う意思を持つ」という並外れた形で行動する意思を持てば、ロシアが連合への参加を拒んだとしても、同盟国は死なないことを選べるかもしれない、と明記しようとした。