先週、私たちの募金に関する投稿に、効果的利他主義のコミュニティーからいくつか質問をいただきました。マクスウェル・フリッツは、こう書いています。
［……］MIRIの訴えを聞いたときの第一印象は、たいていこうです。「確かに、AIは本当に懸念すべき問題だ。でも、取り組むべきなのがMIRIの人たちなのか、その方法が正しいのかは、まったくわからない」。［……］AIが重要だと認めたとして、なぜMIRIなのか？
トリスタン・テイガーからも、同じ趣旨の質問が二つ寄せられました。
［……］MIRIには何ができるのでしょうか。MIRIの構想とチームなら成果を出せると、なぜ期待すべきなのでしょう。具体的に何を実現してくれると期待できるのでしょうか。［……］
しかし、二つ目の、ずっと大きな疑問は、GoogleがやらないどんなことをMIRIがやるのか、ということです。Googleには莫大な資金、創造的で先見性のあるスタッフ、世界最高のプログラマー、そして何らかのAIを取り入れて成功した数多くの製品があります。しかも最近、複数のAI企業を買収し、AI倫理委員会を設けました。同じ大きな問題に、理論的というより直接的に取り組んでいるように見えますし、潤沢な資金、優れた頭脳、豊富な実務経験があります。
どれもよい質問です。「なぜMIRIか」への私の答えを簡潔に言えば、MIRIには、他ではほとんど誰も行っていない基礎的な理論研究に集中する、優秀な研究チームがあるからです。私たちは長期的な視野に立ち、人間より賢いAIシステムを人道的な価値観に沿わせることだけに、腰を据えて取り組んでいます。
大学などの研究者の大半は、まだAIアラインメントの問題に取り組んでおらず、専業で取り組む人は一人もいません。産業界の人々の大半も、まだ取り組んでいません。何人もの人と話しているので、これはわかります。この分野は大きいとはいえ、そこまで大きくはないのです。
学術界や産業界の専門家が、まだこうした問題に取り組んでいないのには、もっともな理由がいくつもあります。そのうちのいくつかを、順に説明します。
1. AI研究者の大半は、主に短期から中期に目を向けています。
これは理にかなっています。AI分野は過去に何度も、大きく期待させながら結果が伴わず、痛い目を見てきました。歴史が示すように、今後数年で達成できる目標に目を向けたほうが、AIの研究は進めやすいことが多いのです。
多くのAI研究者には、実用的な仕事に取り組み、短期を見据え、現実的な約束だけをするよう促す誘因があります。近年、「昔ながらの」AI分野より対象が狭く、目前の課題に集中する「機械学習」に重点が置かれていることにも、それが表れています。この方針は実を結び、産業界でも学術界でも、小さな突破口を絶えず積み重ねて、素晴らしい新技術を生み出してきました。しかしその一方で、長期の問題を考えることが、多少厄介な話題ともなり、「人工汎用知能」は近年、一種の禁句になっていました。この空気は変わり始めていますが、大学などの研究者の多くは、いまだに人工汎用知能の基礎的な問題を扱いたがりません。今日の実用システムの能力を高める研究のほうを好みます。
2. 私たちは、別の種類の問題を解こうとしています。
「MIRIのアプローチ」では、計算機科学の問題を二つに分けて説明しました。第1種は、原理的には方法がわかっていることを、現実的な量の計算資源で実際に行うにはどうすればよいか、という問題です。第2種は、まだ原理的にもできないことについて、原理的にどうすればできるかを見つける問題です。
現在の私たちのアラインメント研究は、問題を第2種から第1種へ移そうとするものです。この種の研究は、過去に他の分野で成功しています。AIアラインメントでも、今よりはるかに注目されるべきだと私は考えています。
産業界が従来最も得意としてきたのは、第1種の問題です。学術界でも、第2種より第1種に重点が置かれることがよくあります。特にAI分野では、先ほどの1に関わる理由で、そうなりがちです。研究者が確率論のようなものの形式的な枠組みを受け取り、それを探究し、拡張し、適用範囲を調べたり、計算量が多すぎるアルゴリズムの実用的な近似を開発したりするのは、ごく一般的です。それに対して、まだ原理的にも解けない問題の理論的基礎を作り出すことは、ずっとまれです。通常は、誰かが新しい理論的基礎を意図的に探しているときにしか起こりません。上で述べた理由から、AIアラインメントについては、大半の研究者がまだ、この種の研究を試みていません。
MIRIが提供するのは、まさにこれです。関係する技術的課題へ、狙いを絞って集中することです。
3. 他に競合する利害や優先事項がありません。
学術研究は、解きやすさや好奇心の向く方向へ、それがどこであれ進んでいく傾向があります。産業界の研究は、短期から中期の利益を追いがちです。そのどちらかが、私たちの技術研究計画で挙げるAIアラインメントの問題に焦点を絞るかどうかは、定かではありません。（（実際、研究計画の問題は、重要そうなのに、自然な成り行きで研究が向かう先にはなさそうだからこそ、選ばれたという面があります。））
対照的に、MIRIの研究者は、自分たちが見つけられる最も重要なAIアラインメントの問題に専業で取り組みます。授業をしたり、別の面白い理論的な問いを追ったり、もっとすぐ利益や論文につながる課題に取り組んだりして、研究を中断する必要はありません。助成金を得るために別の問題群へ移ることはありませんし、3年間の助成金を得ても、期間が終わるやいなや別の問題へ移ることもしません。ただ、見つけられる最も重要な技術的問題に取り組み続けます。
私たちの使命は、AIアラインメントの難しい技術的問題を解くことです。そのために現在は、他のことに気を取られず、研究計画に掲げた未解決問題に集中しています。
ここで伝えたいのは、少なくとも当面、私たちが扱っている具体的な問題の解決策は、MIRIとその共同研究者から生まれる可能性が最も高い、ということです。それらは、「アラインメントの問題がもっと簡単だったとしても、なお解けずに残るのは何か」という問いから生まれた問題なのです。
トリスタンは、「GoogleがやらないどんなことをMIRIがやるのか」と尋ねました。答えは、基礎的な理論研究です。私はかなり定期的に、産業界の人々と、お互いに何を研究しているかを話します。私たちの研究に対しては、何度も、こんな反応が返ってきます。「ああ、それはとても重要な問いですね。私たちは取り組んでいませんが、そのあたりで有用な道具が足りていないのは確かにそうです。答えが見つかったら教えてください」。
同じくらいよくあるのは、「確かに、その道具があれば素晴らしいけれど、手に入れるのは不可能そうだ」とか、「待って、なぜその道具が本当に必要だと思うのか」といった反応です。（（AI研究者の間で、どの未解決問題に対して、この三種類のうちどの答えが返ってくるかには、あまり共通した傾向がありません。））それでも、私がした会話は、三つのグループのどれでも、たいてい同じ結末になります。「開発できるなら役立つ道具ですね。私たちは取り組んでいません。答えが見つかったら教えてください」。
産業界は、現代の実用システムを、ますます汎用的な用途へ進めることに関心があります。階層的な計画、継続学習、転移学習といった問題に集中しています。安全性を研究するときには（実際そうすることも多いのですが！）、深層ニューラルネットワークの透明性を高める道具を作ったり、システムの確率予測の校正を改善し、誤り率を減らしたりしています。産業界のAI研究者と私たちはよい関係にあり、互いの動向を把握しています。しかし、大手の企業チームは、AIアラインメント研究でMIRIと競い合っているわけではありません。今のところ、私たちと同じ種類の仕事をしていないのです。
また、MIRIの研究者はAIの実現時期について、断定を避ける傾向があることも覚えておいてください。昨年、よく聞かれたのは、「人間より賢いAIはまだはるか先で、どんな構造の機械知能になるかもわからないのに、なぜ自分たちの研究が役立つと思うのか」という質問でした。今年よく聞かれるのは、「Googleが人工ニューラルネットワークで人間より賢いAIを開発するのは明らかなのに、なぜ自分たちの研究が役立つと思うのか」という質問です。
どちらへの答えも、ほとんど変わりません。私たちは確率論のような基本的な概念の道具を開発しています。そうした道具は、さまざまな構造のAGIシステムにおいて、透明性、検証可能性、安定性、そして全体的な安全性を高める可能性があります。実現時期についての私の見通しは、昨年も今もおおむね同じです。今後10年以内に人間より賢いAIシステムが登場するとは思いませんが、今世紀中には登場すると思います。それがいつ、どのように、誰によって開発されるかは、私には明らかではありません。
産業界では、10年は長い時間です。1世紀なら永遠のようなものです。今の業界の先頭集団は非常に強く見えるかもしれませんし、他を大きく引き離しつつあるチームもあるでしょう。しかし、どこか一つのチームの成功にすべてを賭けられるほど、私は確信を持てていません。
MIRIは、産業界のあらゆるチームが、より安全なシステムを設計するのに役立つ道具を開発するため、基礎研究を行っています。頑健で有益な汎用推論システムを、一から設計しやすくすることが目標です。そして、そのような道具を、株主ではなく一般の人々に責任を負う、公正な第三者が開発することには、価値があると思います。
超知能は、おそらくすぐそこまで来ているわけではありません。それまでの間、私たちは、産業界や学術界の既存のチームとは異なる問題に取り組んでいます。大半のチームは、長期的なAIアラインメントの問題の基礎理論研究に集中していません。
MIRIは、そこに集中しています。私たちの扱う未解決問題には、十分な取り組みがなされていません。そして私たちには、この先にある最も重大な技術的障害に、突破口を開くうえでの強みがあります。私たちは、他にも優秀で高い技能を持つ多くの組織が、こうした技術的課題に取り組むことを願っています。また、私たちの研究が、この研究領域の成長を速める助けになることを願っています。この分野でもっと競争が起こるなら、大歓迎です。それまでは、「第2種」の技術研究を使命とするチームが、少なくとも一つはあってほしいと思うなら、資金を出すべき相手はMIRIです。
[fundraiser-post][/fundraiser-post]