AIの危険について本当に信じていることを、もっと多くの人が、大きな声で、何度も語るべきだと私は思います。AI政策に携わる人も例外ではありません。むしろ、そういう人こそ語るべきかもしれません。
私はもう数年、このことを訴え続けています。懸念を伝えるとき、それを恥じながら話すのと、要点がどれほど明快で理にかない、広く支持されているかを思い出しながら話すのとでは、相手の反応は大きく違う、という持論を、繰り返し話してきました。人間は、相手の態度から社会的な手がかりを読み取るのがとても上手だからです。AIが人類を皆殺しにすると考えるのは恥ずかしいことだ、という態度を取れば、相手もそう扱いやすくなります。明らかに深刻な脅威だ、という態度を取れば、相手も真剣に受け止める可能性が高まります。
この問題は、確かな裏づけを持って堂々と語れるという持論もあります。ノーベル賞受賞者も、研究所のトップも、この分野で最も引用されている研究者たちも、ここには現実の問題があると言っています。誰かが軽くあしらうなら、「ノーベル賞受賞者や研究所のトップ、最も多く引用される研究者たちも知らない何を、あなたは知っていると思うのですか。その自信はどこから来るのですか」と言ってよいのです。一部の風変わりな人だけの心配事であるかのように話す必要はありません。実際、そうではないのですから。
この1年ほどは、こんな体験談も集め始めています。ある選挙で選ばれた公職者と夕食を共にしたとき、私は同席者たちに、本音を話すよう促しました。ところが、彼らが精いっぱい勇気を出して言えたのは、「まあ、将来のAIは、イランの人々が核物質を作る方法を考える手助けをするかもしれません」といったことでした。それに対し、その公職者はこう答えたのです。「私の懸念は、もっと大きなものです。再帰的な自己改良と超知能が、私たちを完全に消し去ることを心配しています。それが、早ければ3年で始まるかもしれないと思っています」。
こうした話で、いつも人を動かせたわけではありません。私は、真実という美徳にほれ込んだ理想主義の合理主義者にすぎず、正直さと実効性の間にある、認めたくないトレードオフから逃げようとしているのだ、とよく言われます。公職者たちは、支持者が聞きたいと分かっていることを言っているだけではないか、と言われることもあります。そして私は、そうした夕食会の詳細をすべて公にできるわけではないので、根拠を共有するのが少し難しくなります。
しかし、近刊に寄せられた推薦の言葉なら、自由に紹介できます。エリエゼルと私は、この本では言葉を濁していません。それでも、読者からの反応は、これだけ持論を語ってきた私の予想をさえ、はるかに上回る好意的なものでした。
この根拠は、どれほど選別されたものなのかと思うかもしれません。選別されている面も、そうでない面もあります。
私たちは、オバマやオプラなど、面識のない有名人に何通もメールを送りましたが、返信率は低いものでした。また、メディア関係の著名人には、そもそも本の推薦はしないという層がいて、その多くは代わりに、刊行前後に自分の番組へ出るよう誘ってくれました。AIの仕事をしている人の大半はコメントを辞退しました。選挙で選ばれた公職者の大半も辞退しました。なかには私的に褒めてくれた人もいますが、それにどれほどの意味があるかはさておきます。
ところが、国家安全保障の専門家には、確か7人にしか声をかけていません。そのうち5人は強く称賛し、1人、シャナハンは留保付きの言葉を寄せ、7人目は時間がないと言いました。最後の返事は、関心がないという丁重な表現だったかもしれません。それでも、国家安全保障の分野からこれほど反応があるとは、私の予想をはるかに超えていました。
ベン・バーナンキ、ジョージ・チャーチ、スティーヴン・フライのような人々からも、返信率は高かったのです。こうした人たちとは、「私の友人が、人脈の広い経済学者の息子と幼なじみだ」というような、ごく遠い縁がありました。そのようなつながりをたどった相手のほとんどは、「確かに、これは皆が議論すべき重要な問題だね」から「なんてことだ」までのどこかの反応を示し、大半は力強い推薦文をくれました。実のところ、こうした突飛な作戦でうまくいかなかった例は思い出せません。ただ、思い出せないだけで、いくつかはあったのでしょう。試みたことを全部表に残そうとしたのですが、あっという間に混乱してしまいました。
これは、「率直に、勇気を持って話せば、人々にはAIの危険を聞く用意がある」という、かなり確かな根拠だと思います。実際、私は本への反応に驚き、励まされました。
このコミュニティーには、伝え方があまりに臆病な人が大勢いると思います。特に政策の世界ではそうです。
私はSB 1047の起草に携わった人たちの何人かと友人なので、少し彼らをやり玉に挙げましょう。
SB 1047は、不運に終わったカリフォルニア州のAI法案です。大まかには、AI企業に年次の安全性報告を求める内容でした。起草時、私は、AIが人類滅亡の脅威をもたらすことと、その危険を避けるために実効性のある規制が必要なことを、もっと明確にすべきだと助言しました。ごく初期の草案には、ほんのわずかな実効性がありましたが、その後すぐに議会が骨抜きにし、可決された末に、結局は拒否権を発動されました。
起草に携わった友人の1人は、この一連の出来事を、私の助言がまったく間違っていた証拠と受け止めました。その友人によれば、法案はほんの少し物議を醸しすぎたのです。あと少し薄めていれば、成立したかもしれない、と。
私は、その根拠を違うように受け止めました。
目に留まったのは、たとえばテッド・クルーズ上院議員の、規制は「AIの革新を主導する競争で、米国が中国に後れを取ることになる。［……］私たちは、人為的な障害を設けるのではなく、中国との競争を解き放つために、できることは何でもすべきだ」という発言です。J・D・ヴァンスの、規制は「現存する大手テクノロジー企業の地位を固定し、新規参入者が、次世代の米国の成長を支える革新を生み出すのを、むしろ難しくする」という発言も目に留まりました。
私には、これはメッセージが届いていない証拠でした。政治家は、この法案を人類滅亡の脅威に対処するものとは理解していなかったのです。普通の新興技術産業で、既存企業が自分に都合のよい規制を作らせる話だと受け止めていました。
……それも無理はありません。これで皆が死ぬと本当に信じている人が、なぜ年次報告を求める法案を出すのでしょうか。どう考えても、うさんくさいでしょう。人は、相手がうさんくさい振る舞いをしていると、気づくものです。
この意見の違いを解くのは難しいものでした。友人と私は、それぞれ、その根拠を自分の従来の立場に合うように解釈できてしまいました。つまり、実際には、両者の見方のどちらが正しいかを区別する根拠になっていなかったのです。1
でも、そのSB 1047の起草に携わった友人に、私は、本に寄せられた推薦文のどれがワシントンの人々に響くか、助言を求めていました。そして次々と推薦文が集まるのを見て、その友人は、これらが「オーバートンの窓の中で、物事がどこに位置しているかについての［自分の］モデルを、少し崩している」と言いました。ですから、勇気を持つ戦略が現実にうまくいくという、もっと明確な根拠が、ようやく見え始めているのかもしれません。2
AIの危険を理解している人の多くは、その伝え方が臆病すぎると思います。3 特に、ワシントンにいる人々についてそう思います。このような伝え方は、よくても役に立たず、悪ければ有害です。本当の問題に注意を向けられず、うさんくさく感じられるからです。そして、これまではおそらく有害だったと私は考えています。
勇気を少し補いたいなら、『If Anyone Builds It, Everyone Dies』に寄せられた刊行前の推薦の言葉を、もう一度見てください。以前は何の関係もなかった大勢の人々、なかには当初かなり懐疑的だった人々からも、称賛が届いたことを思い出してください。私には、これはありふれた本の推薦文とは感じられません。世界がこの問題を公然と話し合う用意をしていることを示す、珍しい根拠に感じられます。
幅広い経歴や世界観を持つ人々も、確信を持って示された、筋の通った議論を聞けば、理にかなった見方を受け入れる可能性がかなり高い。その初期の兆候として、私はこれらの推薦文を受け止めています。
仕事はまだ終わっていません。社会に話し合う用意ができているからといって、実際に話し合っているわけではありません。再帰的な自己改良によって、3年以内に超知能が登場することを懸念する公職者と、私がときどき夕食を共にする一方で、私的には本を褒めてくれる議員の誰も、まだ公の推薦には応じない。どういうわけか、私たちはいまもそんな世界にいます。
やるべき仕事があります。そして、それをするのに、いまこそよい時期なのかもしれません。
そもそもエリエゼルと私がこの本を書いたのは、こうした好機がありそうだと考えたからです。ワシントンでの公職者との非公開の会合などで、メッセージが実際に届いていると気づき始めた私は、戻ってエリエゼルに、機は熟したと思う、と伝えました。明快で説得力があり、広く読まれる本と、それに伴うメディア出演によって、この話題を主流の議論へ押し出せるかもしれません。そうすれば、人類は別の道を選び、全員が死ぬ結末を避けられるかもしれないのです。
ですから、読者に媚びていると思われるのを承知で言います。私がここに見ている希望を、少しでも感じるなら、この本が大きな反響を呼ぶよう、力を貸すことを考えてください。
機は熟しています。予約注文は、本を発売時からベストセラーリストに載せる助けになります。そこに載るかどうかは、この本と、この議論が全国的に注目されるかどうかを左右します。
先月、私たちの本は、まだ予約受付中なのに、Amazonの該当分野のベストセラーリストに入りました。珍しいことだそうです。この支援に励まされています。先月のペースを、これから2か月半保てれば、よい状態を迎えられます。そのペースを保ち、刊行のちょうどそのときに、さらに支援が集中すれば、すばらしい状態を迎えられます。このコミュニティーの支援があれば、それも可能だと思います。
こちらでは、できることをすべて行っており、うまく進んでいます。オーバートンの窓を押し開くために協力して動きたいのであれば、いまが最善の時期である可能性は十分あります。
ここでうまく仕事をすれば、年末までに政治家や記者や隣人が、AIによる人類滅亡規模の危険を真剣に受け止めている可能性は、現実にあります。
そして、この本に力を貸す価値があると思うかどうかにかかわらず、AIの危険についての信念を隠したり、恥じたりする必要はないことを、考えてみてほしいのです。勇気を持って語りかければ、人々はよい反応を返してくれます。
根拠の解釈が難しかったのは、この件だけではありません。1月、クルーズ上院議員は自分のポッドキャストにイーロン・マスクを招き、全体としてやや懐疑的な調子で、「殺人ロボットが人類を滅ぼす見込みは、どれほど現実的なのか」と尋ねました。友人の中には、その軽視する姿勢を悪い兆候と受け取った人もいました。私は、少なくとも核心的な危険について考え始めているので、よい兆候と受け止めました。また、J・D・ヴァンスが『AI 2027』を読んで間もなく、「究極のスカイネットのようなシナリオでなくても、AIが何らかの形で制御を離れつつあるように見える場合に、米国政府は一時停止できると思いますか」と尋ねられ、こう答えました。「分かりません。よい質問です。
正直に答えるなら、分かりません。この軍拡競争の一面として、私たちが一時停止しても、中華人民共和国は一時停止しないのではないか、という問題があるからです。そうしたら私たちは皆、中国が介在するAIの奴隷になってしまうのでしょうか」。
友人の中には、自殺的な競争をする気に見えるので悪い兆候だと受け取った人もいました。私は、これもまた、目の前の本当の問題に向き合い、AIを、規制に熱心すぎる当局に翻弄される普通の産業としては扱っていないので、よい兆候と受け止めました。↩その友人は、SB 1047がもっと勇気を持った内容であるべきだったかは、まだ分からないと留保しています。実際に観察できたのは、2025年に勇気ある伝え方がうまくいったことだけであり、2023年にもそうだったはずだとは、必ずしも言えません。↩
ここで「臆病」と言っているのは、口調や態度ではなく内容のことです。傲慢さや過信を感じさせれば、話し相手をいら立たせ、反発を招くことは認めます。勇気ある内容と臆病な内容の違いとして私が何を意味しているかは、このコメントを参照してください。また、このスレッドでは議論をもっと明示的に述べています。↩