MIRIの研究チームに新たに加わったアンドリュー・クリッチが、MIRIの冬の寄付キャンペーンを機に、自身がMIRIの活動を重要だと考える理由を個人ブログに書いています。以下に一部を紹介します。
CFARの卒業生たちが集まってFuture of Life Institute（FLI）を設立し、今年1月にプエルトリコでAI安全性の会議を開き、FLIの研究優先事項に関する提案を共同執筆して、イーロン・マスクから1,000万ドルの助成資金を獲得しました。それ以来、この1年で「AI安全性」という名のもとに多額の資金が動きました。ニック・ボストロムの『Superintelligence』も、このすばらしい成功をもたらした大きな要因でした。
これらの助成を受けて、すばらしい研究が数多く進んでいます。AI安全性の既知の問題を解決するための提案も多数あり、私はたいへん心強く感じています。ただ、これだけの資金の流入に歩調を合わせて、MIRIも少なくともある程度は規模を拡大しなければ、MIRIが支援できた場合に比べて、資金の使われ方がずっと悪くなってしまうのではないかと心配しています。
忘れてはならないのは、AI安全性が主流になったのは、皆がひとりでにその重要性に目覚めたからではないということです。AIがどんな予想外の振る舞いをするかについて、まだ何が分かっていないのかさえ分からない問題を突き止めようと、MIRIとFHIの協力者たちは何年も苦闘してきました。さらに、その考えを主流の研究に取り入れてもらえるよう、技術的な細部に踏み込んで説明する方法を身につけようと奮闘してきたのです。その取り組みが、ようやく実を結び始めています。
では、私たちが間違っている部分はどうでしょうか。まだ気づいていない個々の課題はどうでしょうか。5年前には問題全体が顧みられなかったのと同じように、主流の研究で見過ごされたままになるかもしれません。AI・機械学習の研究者たちが、いまやこうした問題をよりよく認識しているのはうれしいことです。ですが私は、この成長する分野を正しい方向へ導き続けられるだけの速さで、MIRIが成長できるようにしたいのです。
もうほかの人たちも「この問題に取り組んでいる」のだから、あとは何とかなるだろう、と思うかもしれません。そうかもしれません。
しかし、MIRIの結論の一部が広く受け入れられるようになったからといって、その方法論まで受け入れられているとは限りません。
「こんな安全性の問題があると教えてもらった。解いてみよう！」
という頭の働かせ方と、
「こんな安全性の解決策があると教えてもらった。どこに欠陥があるか調べてみよう！」
という頭の働かせ方は、まったく違います。
そして、そもそもMIRIがAI安全性の問題に気づけたのは、後者のような考え方をしていたからです。サイバーセキュリティーの専門家は、これを難なく行っているように見えます。セキュリティー専門家のブルース・シュナイアーは、この考え方をセキュリティー・マインドセットと呼んでいます。SANS Instituteはレッドチーミングと呼んでいます。呼び名はどうあれ、AI・機械学習の研究者たちは、まだ壊してみる姿勢よりも作る姿勢のほうが強く、私が見るかぎり、新たな安全性の問題を見つけるには至っていません。
それぞれの組織は、MIRIのアプローチや研究計画をそっくりそのまままねるよりも、AI安全性の問題に異なるアプローチを試すべきだろうとは思います。ですが、壊してみる姿勢、つまりセキュリティー・マインドセットは、AI安全性へのどのアプローチにも必要だと考えています。そして、新たに流れ込むこれだけの資金に歩調を合わせてMIRIが規模を拡大しなければ、世界は、AI安全性で何が重要なのかについてMIRIが2014年時点で最も妥当だと考えていた見立てを、そのままコピーして使おうとしているのではないかと心配です。その一方で、そもそもこれらの考えを生み出した自己批判的な方法論は、置き去りにされてしまうのではないか、と。この分野には、まだ何が分かっていないのかさえ分からない問題が数多く残っています。それを考えれば、これは深刻な落とし穴です。
寄付へのご協力や、私たちの計画についての詳しい情報は、寄付キャンペーンの記事をご覧ください。AIリスクとセキュリティー・マインドセットについては、ルーク・ミュールハウザーの関連記事もご覧ください。