非公式日本語訳 — Machine Intelligence Research Institute (intelligence.org) の原文をAGI Hubが翻訳したものです。MIRIによる公式の翻訳ではありません。

← 翻訳一覧

ハードモードで伝える

原題: Communications in Hard Mode / MIRI Strategy

原文クレジット(WordPress投稿者表示): Mitchell Howe / 掲載元: Machine Intelligence Research Institute (intelligence.org) / 原文公開日: 2024-12-13

訳文状態: 校閲済み(原文対照レビュー実施)

半年前まで、私は高校の英語教師でした。

ときには大変なこともあった19年間を経ても、転職するつもりはありませんでした。得意な仕事でしたし、楽しかったのです。長い試行錯誤の末、くだらないことに煩わされず、生徒に本当に役立つものを届ける方法が見つかっていました。私は毎日、宿敵「無関心」と堂々と戦い、彼女に勝てる日も増えていました。自分の言葉で語れるようになっていたのです。

MIRIでは、まだ自分の言葉を見つけるのに苦労しています。その理由は、同僚にぜひ書いてほしいと言われたので、この記事の後半でお話しします。しかし、宿敵は変わりません。

無関心は、私たちを死に追いやります。AIというこの一大事がうまくいこうと、惨事で終わろうと、気にしないこと。きらびやかな道の先で何が待っていようと、なるようになるさと受け入れること。どうせ自分たちには何もできないと言い聞かせること。その場に大人が見当たらなくても、誰か大人が問題を片づけてくれるはずだと思うことです。

あなたも、彼女に心をじわじわ引き寄せられたことがあるかもしれません。誰にでもあると思います。このAIというものは、面白い。「熱力学の神」に、あの「面倒ごとは御免の女神」に屈してしまうほうが、抵抗するよりずっと楽で、おそらくずっと楽しいでしょう。続いている間は。

では、私は? 英語の教師でした。私に何ができたでしょう。

少しはありました! 寄付やボランティアができました。最初の教職に就く前にも、しばらくの間、MIRIの前身となる団体にささやかな支援をしていました。AIについて公然と危惧している人を、生徒や同僚が少なくとも一人は知っているようにすることもできました。そして、現実には来るはずもないMIRIからの呼びかけに応じる用意がある、というだけで、手軽に自分を誇らしく思えました。

その先は、想像がつくでしょう。宇宙は、私のはったりに受けて立ちました。私は、それをはったりで終わらせないよう、必死に動きました。そして今、拡大中のMIRIの広報チームにいるわけです!

でも、危ういところでした。MIRIが求人を出したとき、私はもう少しで目をそらすところだったのです。

今はそのことを、特につらい日に、よく考えます。もう少しでベッドから出ずに終わりそうだった人たちが、いったいどれほどの歴史を作ってきたのだろう。そして、最後の最後の「やっぱり、やめておこう」がなければ、あと少しで実現していた歴史は、どれほどあるのだろう、と。

私たちは、巨人にならずに済ませることもできた巨人たちの肩の上に立っています。その遺産に報いるなら、「ここにいてほしい」と思う大人に、自分たちがならなければなりません。骨の折れる話に聞こえるのは、実際に骨が折れるからです。そこから敵は力を得ます。無関心は、怠惰の娘なのです。

無関心は「大人として振る舞う」ことをしません。流行の服を着て、地位を競うゲームには参加しますが、計算はしません。考えを変えることも、情報源を確かめることもありません。立場を越えて手を差し伸べることもしません。声を上げるか、面子を守るかと問われれば、いつも「面子」を選びます。

もっと大人が多く、無関心が少なければ、世界はAIの崖から飛び出そうと突進してはいないと思います。最前線を押し進めている主体は、実のところそれほど多くありません。そして傍観している人たちも、その気になって目を向ければ、目にしたものを大抵は好みません。準備ができるまで、私たちより賢いものを作らない。 そのどこがそんなに難しいのでしょう。気持ちのうえでは皆さんの元英語教師ですから、ここでアティカス・フィンチを引用せずにはいられません。「この事件は難しいものではありません。複雑な事実を細かくふるいにかける必要はない。しかし、合理的な疑いを超えて確信を持つことは必要なのです……」。

優秀な教え子なら、アティカスはその裁判で負けたではないか、と振り返るでしょう。陪審員たちが「声を上げる」より「面子を守る」を選んだからです。でも、あと少しだったのです! 彼らは「やっぱり、やめておこう」と言うまで、道徳の「長い弧」を正義へ向けて、あと少しで曲げるところでした。

残念ながら、あと少しでは点数はもらえません。大人らしい行動をあと少しでとりそうだっただけでは、人類を凌駕するAIの到来を生き延びられません。比喩的な回転刃が止まる前に、眠ったまま境界を越えてしまうのを、あと少しで避けられそうだった、というだけでも。

MIRIがハードモードで情報を伝えるのは、宇宙の設定がハードモードだからです。私たちの言葉は、書いてあるとおりの意味に受け取ってもらわなければなりません。ハードモードは難しい! この仕事で大人として振る舞うことは、人間の多くの本能に逆らい、広報や発信で一般的な慣行にも反します。そこから生まれる制約を、いくつか挙げます。

いつもうまくできているとは言えません。でも、本当に懸命にやっています。この半年間、私たちが世に出すものの量を物足りなく感じたなら、これが私にできる最善の説明です。私自身、物足りなく感じています! 世間体は過大評価されているかもしれませんが、信頼性はそうではありません。私たちはそれを、本当に失いたくないのです。

この線を守って歩くのは、聞こえる以上に難しいとわかりました。合理主義的な感覚を持ちながら公教育の現場で働いてきた私は、長い間、その場で最も慎重に考える人だと見られることに慣れていました。しかし、その場全体が本当に慎重に考える環境に入ると、慣れる必要があります。自分たちの文章をぜひ読んでもらいたくて、面白くしようとする人間なら、なおさらです。その試みを止められたわけではありません。そもそも、私たちは届ける範囲を広げたいのです。ただ、正確な専門用語が詰まった難しい文章を読み解く準備や意思のない読者に向けて書くときにも、非常に高い基準をどう適用するか、チーム全体で苦労しています。

難しさの一つは、そうした読者が、私たちのルールで書く書き手に慣れておらず、私たちがそのルールに従っていることにも気づかないかもしれない点です。親しみやすく面白く書くと、好感を買おうとしているとか、何かを売りつけようとしていると思われないか、と心配になります。そう思われると、広告文句だからと割り引いて読まれ、実際にはない隠れた動機を行間に探されることになるからです。

私たちの仕事は、そもそもほとんど「説得」ではないと認識すると、考えやすくなりました。私たちは、自分たちが理解している事実を示しています。そして、提案する行動方針は、私たちにとってそうであるように、皆さんにとっても論理的だと思えるはずだと考えています。水は低いほうへ流れます。濃縮ウランを十分な量だけ集めれば、臨界に達します。既存の方法で作られた強力なAIは、私たちの生存とは両立しない目標を追求します。

もちろん、AIによる惨事を防ぐため、実効的に執行できる世界的な合意の詳細を詰める作業は、その背後の論理より複雑になるでしょう。この取り組みの土台をいくらか整えることは、新しい技術ガバナンスチームの目標の一つです。

今の道を進むと、人間より賢いAIがなぜ致命的になるのかを、もっと多くの読者に理解してもらうことも、やはり複雑な仕事になります。これは、上級チームと協力しながら、私たち広報が担う仕事です。取り組んでいます。今年は中規模から大規模の執筆企画をいくつか、相応の注意を払って進めています。どれかが効果を発揮すれば、振り返ったときに、2024年の誇れる成果となるでしょう。

ですが、そう、私たちの基準は高すぎるほどで、乗り越えるのに苦労しています。まだ十分なものを世に出せていません。力を蓄え、広報へ軸足を移したことに伴う成長痛に対処しているところです。それでも学んでいますし、もっと速く学びたいと思っています。そのため、2025年には、私たちがさらにさまざまな試みをすると思っていてください。

この記事は、その最初の一例です。MIRIの発信でも個人の声をもっと確立すれば、避けられない間違いには個人として責任を持ちながら、もっと多くの方法を試せます。やってみる価値はありそうです。

というわけで……こんにちは! ミッチです。私はもう少しで、やらないと決めるところでした。

あなたも「もう少しでやらずに済ませる」ところで、まだこちら側にいるのなら、一緒に試してみませんか。仕事にする必要も、寄付である必要もありません。もちろん、MIRIも同じ志を持つ人たちも、その両方を歓迎します。でも、どうか無関心に一撃を! まだなら、まずはAIの問題をしばらく見つめてみてください。そして、自分に何が見えるのかを友人や同僚に話す。少し気まずくて、少し感情が動き、少し骨の折れる、その一歩を踏み出すことです。

「無感動の女王陛下」から臣民を一人奪うことに、気が引ける必要はありません。彼女は平気です。もっと正確に言えば、彼女は気にしません。

だから私たちは勝てるのです。彼女より強く、それを望めばいい。

そんなに難しくはないはずです。