Effective Altruism Forumへの資金募集の投稿と、新しいFAQに対し、よく考えられた質問をいくつかいただきました。クオンツ・トレーダーのマクスウェル・フリッツからは、次のような質問がありました。
MIRIの支援呼びかけを見たときの私の第一印象は、たいてい「そう、AIは本当に心配すべき問題だ。でも、MIRIがそれに取り組むのに適した人たちなのか、その問題への取り組み方が正しいのかは、まったくわからない」というものです。
FAQや支援の呼びかけは、ほとんどが「これは重要なのか」という部分に重点を置いています。もう一つの要素、つまり「AIが重要だと認めたとして、なぜMIRIなのか」を、もっと強く打ち出す価値があるかもしれません。
そこでは、二種類の相手を考える必要があります。一つは、その分野の専門知識があり、これまでの仕事の質に基づいて筋道立てて評価できる人たち。もう一つは、何もわからず（私です）、利害関係がなくて信頼に値する人たち（最初の集団の人たち）からの裏づけを、たくさん必要とする人たちです。
呼びかけでは、事情をよくわかっていて、AIを心配すべきだと裏づけてくれる著名人が強調されがちですが、その人たちがMIRIを信頼している場合には、特にそれを明確にするべきです。「わかった、でもなぜあなたたちなの？」という問いには、それが重要なのです。そして自然に続く問いは、こんな大金持ちたちがみんなAIへの懸念に大賛成で、専門家もMIRIが先頭に立つべきだと考えているなら、なぜもうお金があふれるほど集まっていないのか、ということです。
数学の大学院生トリスタン・テイガーからは、こうです。
皆さんが発信面で取り組むべき最大の課題は、「MIRIとは誰か」や「なぜAIか」よりも、「なぜMIRIか」なのではないかと思います。
私にとって「なぜMIRIか」は二つの問いに分かれます。第一の、比較的小さい問いは、MIRIには何ができるのか、ということです。MIRIの構想とチームなら何かを成し遂げてくれると、なぜ期待できるのでしょうか。具体的に何を成し遂げると期待すればよいのでしょうか。この問いに答えるうえで最も重要なのは、これまでに何を成し遂げ、それがなぜ役立つのか、ということです。「技術研究課題」は曖昧で、ほとんど論文一覧を参照するだけです。その論文もあまり助けになりません。学界をよく知らない人にはもっとわかりやすいものが必要ですし、よく知っている人なら、MIRIが自前で発表していて査読を受けていないことを疑問視するでしょう。
しかし、第二の、はるかに大きな問いは、Googleがやらないことで、MIRIは何をするのか、ということです。Googleには莫大な資金、創造性と先見性のあるスタッフ、世界最高のプログラマー、そして何らかのAIを組み込んだ成功製品が数多くあります。そのうえ最近は複数のAI企業を買収し、AI倫理委員会も設置しました。同じ大きな問題に、理論ではなく直接取り組んでいるように見えますし、豊富な資金、優秀な頭脳、膨大な実務経験を備えています。
ここには、良い問いがいくつもあります。今週後半にネイトが、トリスタンの最後の問い、なぜ現時点では、産業界や学界のAIグループよりも、MIRIのほうがこの問題に取り組みやすい立場にあるのか に答える記事を投稿する予定です。（2月17日追記：こちらです。）
この記事では、トリスタンとマクスウェルが提起した他の問いに、いくつか答えたいと思います。
- 専門家でない人は、MIRIの研究課題と総合的な能力をどう評価できるのか。
- MIRIのこれまでと今後の成功を測る指標として、どのような実績を使えるのか。
- 最後に、今では多くの人がこの活動を真剣に受け止めているのなら、なぜまだ資金不足があるのか。
全般的な説明
MIRIへの支援を訴える際、私たちは通常、存在リスクに働きかけるうえでAIが重要だと考える理由（ネイトの「背景となる四つの主張」、エリエゼルの「五つの命題」）と、この分野で早い段階から理論的な進展が可能だと考える理由（「MIRIのアプローチ」）に重点を置きます。
こうした大局的な議論に重点を置くのは、このテーマに取り組む人が、まだかなり少ないためです。MIRIが取り組んでいるリスクのシナリオが全米で注目されるようになったのは、この6〜12か月のことにすぎません。現時点で、アラインメント問題の初期段階の技術研究を専門にしていると 称している 研究機関さえ、私の知る限りMIRIだけです。
「個々の研究者Xが、個別のプロジェクトYに取り組むために資金を出す」という規模なら、長期的なAI安全性の技術研究を支援する機会は複数あります。2015年のFuture of Life Institute（FLI）の助成金の受給者の一部、たとえばスチュアート・ラッセルやポール・クリスティアーノは、この範疇に入ります。
しかし、この分野で「AIのグループが大規模あるいは長期的な計画を進めるために資金を出す」という規模の機会が、複数あるわけではありません。また、まったく新しい人を迎え入れ、分野を拡大・多様化する直接的な機会も多くありません。MIRIは、この領域に組織としての競争相手（そして協力相手）ができることを大いに歓迎しますが、まだ存在しないのです。いずれ状況は変わると見ていますし、私たちの拡大目標の一つは、それを早めることです。他の数学・計算機科学の研究グループがAIアラインメントの研究をもっと手がけるよう働きかけ、存在リスクのコミュニティの外から、優れた専門家を採用して、AIアラインメントを職業として研究する人になってもらうことで、実現したいと考えています。
早く始める利点は、競合の少ない領域で、より大きな影響を与えられる機会があることです。欠点は、外部の人が私たちの研究課題は正しい方向を向いているのか確かめたいとき、頼れる権威ある評価が少ないことです。
そうした権威ある評価の大部分については、おそらく1〜2年待つ必要があります。学界の動きは遅く、現段階では、多くの計算機科学者がこの領域を知ってから数か月しかたっていません。科学界・産業界の指導的な人たちのうち、私たちの使命を重要だと見る人は増えています。また、多くのAI専門家は、私たちの技術研究課題を有望で、もっと注目に値するものと見ています。それゆえFLIの研究の優先課題に関する文書にも盛り込まれました。それでも、現在の証拠だけで、潜在的な寄付者のうち最も懐疑的な人たちを一様に説得できるとは考えていません。
MIRIの成果に対する詳細で独立した評価を求める方には、より広い学術コミュニティの反応を、もう少し待つことをお勧めします。（私たちの研究課題と初期の成果について、独立した研究者に公開の意見を直接求める方法も検討しています。）
とはいえ、「なぜ今が重要なのか」では、数年後よりも今MIRIに寄付したほうが、はるかに大きな影響を与えられる可能性が高い理由を述べています。懐疑的な（あるいは関心のある）寄付者でも、学術コミュニティによる私たちの仕事の詳細な評価を必要とするほど懐疑的ではない方に向けて、MIRIの仕事には高い価値がありそうだと考える大局的な理由を、いくつかまとめます。（いつものように、ここで扱っていないより具体的な質問をお寄せいただくこともできます。）
AIをめぐる議論への影響
私たちの仕事を詳しく評価した第三者の資料がまだないなか、関心のある専門外の方は、これまでの論文発表の実績や、AIリスクをめぐる学術的議論で私たちの分析がどの程度重要な位置を占めているかを見ることができます。
MIRIの最も重要な実績は、三つに分けられます。最優先のAIアラインメント問題を文書として整理したこと、それらの問題の初期研究を始めたこと、そして私たちの研究と使命に関心を持ってもらったことです。「この一年の振り返り」では、アラインメント問題の形式化に関する最近の進展と、より広いAIコミュニティに長期的なAI安全性への関心を持ってもらううえでの進展を述べています。出版物一覧では、私たちの成果をより詳しく、長い期間にわたって見ることができます。
人間より賢いAIのリスクに関する考え方を、初期に発展させ広めた功績の多くは、MIRIの共同創設者で上級研究員のエリエゼル・ユドコフスキーと、Future of Humanity Institute（FHI）の創設所長ニック・ボストロムにあります。エリエゼルの考え方は、AI分野の代表的な教科書 Artificial Intelligence: A Modern Approach（AI:MA）の2009年版でも、ボストロムの2014年の著書 Superintelligence でも、大きく取り上げられています。
より最近、長期的なAI安全性の研究を広めることに成功した功績は、MIRIだけでなく、ニック・ボストロムとFHI、マックス・テグマークとFLI、スチュアート・ラッセル（AI:MA の共著者）、ヤーン・タリンらにもあります。存在リスクを意識するこの集まりの多くの人が、MIRIの取り組みを広く支持し、私たちの意思決定について定期的に連絡を取り合っています。ボストロム、テグマーク、ラッセル、タリンはいずれもMIRIのアドバイザーです。FLIとケンブリッジ大学のCentre for the Study of Existential Risk（CSER）の共同創設者でもあるタリンは、AIリスクについての自身の考えの重要な源として、MIRIを挙げています。
2014年初め、ラッセルとテグマークは、スティーヴン・ホーキング、フランク・ウィルチェックとともに、The Huffington Postで、「これらの［長期的なAIリスクの］問題については、ケンブリッジの存在リスク研究センター、Future of Humanity Institute、Machine Intelligence Research Institute、Future of Life Instituteといった小規模な非営利研究機関以外では、本格的な研究がほとんど行われていない」と指摘しました。（ラッセル、テグマーク、ホーキング、ウィルチェックからの引用：
AIの短期的な影響は誰が制御するかに左右されるが、長期的な影響は、そもそも制御できるかどうかに左右される。
では、計り知れない恩恵とリスクのある未来を前にして、専門家たちは最良の結果を確保するため、できる限りのことをしているのだろう？ そうではない。優れた異星文明から「数十年後にそちらへ着きます」とメッセージが来たら、私たちはただ「了解、着いたら電話してね。明かりをつけておくよ」と返すだろうか。おそらく返さない。しかしAIについて起きていることは、ほぼそれだ。人類に起こった最良の出来事にも最悪の出来事にもなりうるものを前にしているのに、ケンブリッジの存在リスク研究センター、Future of Humanity Institute、Machine Intelligence Research Institute、Future of Life Instituteといった小規模な非営利研究機関以外では、これらの問題に関する本格的な研究がほとんど行われていない。）これらの組織のうち、安全で有益な、人間より賢いAIシステムの設計に立ちはだかる技術的な障害を現在専門にしているのがMIRIです。FHI、CSER、FLIは、予測や戦略、啓発、その他の世界的なリスクの調査など、もっと広い問題群について重要な仕事をしています。
論文発表
トリスタンは、MIRIの技術研究課題が自前の発表であることを懸念していました。過去の出版物を見ると、確かにMIRIは多くの成果を自前で発表してきました。結果は興味深いがAIを動機にしているのはあまりに奇妙だ、というコメントとともに論文を却下されたことも、一度や二度ではありません。そこで動機づけなどの説明を削った論文を投稿し、完全版をarXivに載せるようになりましたが、成果を発表する最適な方法を見いだすまでには試行錯誤が必要でした。
背景にある問題の一つは、AI分野が、過去の世代の過大な約束と期待外れの成果による「冬の時代」で、何度も痛い目に遭ってきたことです。この分野の人たちは、あまり遠い将来を見通すことにしばしば抵抗を感じ、歴史的にも汎用知能について語るのを嫌ってきました。
私たちのアプローチは、まったく逆です。汎用的な推論の基礎的な側面のうち、まだ十分に理解されていないものを特定することに正面から取り組む一方、現代のAIシステムに焦点を当てた安全性研究は、意識的に避けています。そちらは研究者が多く、私たちが取り組まなくても行われる可能性が高いからです。そのため、私たちの仕事は今日の直接的な実用先を欠くことが多く、それに加えて、人気のない汎用知能というテーマも扱うことになります。
最近、論文がより多く発表できるようになった理由の一つは、人間より賢いAIというテーマが、以前ほど学問として不適切だとは見なされなくなったことです。もう一つは、この数年で、私たちが主に運動の拡大（Singularity Summitや合理性についての文章などを通じて）と、ある程度の予測研究に取り組む組織から、新しい技術研究だけに集中する組織へと転換したことです。
7本の論文からなる私たちの技術研究課題は当初、自前で発表しましたが、その主な理由は、1月の「AIの未来」会議の参加者に読んでもらい、引用してもらえる時期に間に合わせるためでした。その後、そのうちの論文「理想化された意思決定理論に向けて」の短縮版がAGI-15に採択されました（完全版はarXivにあります）。また、同じ研究課題の論文「修正可能性」の完全版を、AIの主要な学術会議AAAI-15で発表しました。概説論文「超知能を人間の利益に整合させる」は、技術的特異点に関するSpringerの論集に掲載予定です。
残り4本の技術研究課題の論文は、説明や背景に多くの分量を割く一方、新しい結果は少ない俯瞰的な概説なので、査読には回していません。その代わり、関連する成果を査読にかけています。ヴィンジ的反省に関する成果はAGI-14の会議録に発表し（「自己改善する時空間内在型知能における自己言及の問題」）、別の成果はITP 2015に採択されています（「HOLのための証明を生成する反省」）。論理的不確実性と現実的な世界モデルの両方に関連する査読済み論文は2本あります。一つは2週間前にAGI-15で発表した「ソロモノフ帰納とAIXIの反省的な変種」、もう一つは今年後半のLORI-Vで発表する「反省的オラクル：古典的ゲーム理論の基盤」です。関連する意思決定理論の成果もAAAI-14で発表しました。
「価値学習」は、この一連の研究課題の論文のうち、関連研究がまだ査読を経ていない唯一の論文です。研究課題の中では最も技術的でない部分なので、このテーマについて査読に出せる技術的成果が得られるまでは、もう少しかかるかもしれません。
（7月15日追記：「価値学習の問題」は査読を経て、IJCAI 2016の人工知能倫理ワークショップで発表されました。）
著名な学術誌や会議録で発表することで、さらに多くの研究者に私たちの仕事に関心を持ってもらいたいと考えています。その有益な結果として、私たちが取り組む基礎的な研究上の問いに対し、MIRIの外からの評価や貢献も増えるでしょう。もっと近いところでは、ヴィンジ的反省など、研究課題の比較的技術的な部分を説明するブログ記事も、いくつか準備中です。
ネイトとベンヤが加わった2014年初めから、査読済みの論文を合わせて7本発表しました。最近の産業界の進展や、MIRIと存在リスクのコミュニティによる新しい研究を受けて、未解決のAIアラインメント問題に直接取り組む論文を発表することは、ずっと容易になっています。今後数年で、さらに容易になると見込んでいます。
何をもって成功とするのか
MIRIにとっての成功には、夏の資金募集で掲げた目標を実現することも含まれます。達成した資金目標に応じて研究チームを拡大し、追加のプロジェクトに着手することです。今年の現在の計画は、最も評価の高い発表の場で、質の高い論文を数本発表することに集中する、というものです。資金募集がうまくいけば、この計画をどれだけ効果的に実行できるか、また新しい成果をどれだけ早く生み出して発表できるかに、影響するはずです。
より直接的な成功の尺度は、重点を置くと決めた具体的な技術上の問題で、どれだけ前進できるかです。それをMIRIの研究者と、より広いAIコミュニティが評価します。「MIRIのアプローチ」でネイトは、問題を二種類に分けています。原理的な答えはわかっているものの、実用的なアルゴリズムがない問題と、まだ十分に明確化されていないため、原理的にさえ答えの組み立て方がわからない問題です。現段階でMIRIにとって大きな進歩とは、重要なのに顧みられていないAIの問題を、第二の分類から第一の分類へ移すことです。
マクスウェルはもう一つ、MIRIが主流から注目と支持を集めるようになっているなら、なぜまだ資金不足があるのか、と尋ねました。
「なぜ今が重要なのか」で概略を述べたとおり、答えの一部は、今後数年で大口の助成金や寄付が資金不足を解消する可能性は、かなりあると私たちも考えている、ということです。ただ、大口の寄付者や助成機関は動きが遅いことがあります。5年後や10年後に資金不足が解消しているかどうかにかかわらず、今、活動を拡大し多様化できることには、大きな価値があります。
イーロン・マスクとOpen Philanthropy Projectは最近、AI安全性研究に700万ドルを助成し、MIRIの中核研究プログラムも大規模なプロジェクト助成を受けました。これはこの分野へのすばらしい資金流入であり、はるかに多くの学術研究者がAIアラインメント研究に集中し始められることを意味します。ただし、優れた助成対象者が数多くいるため、FLIの助成金だけでは、最も有望な研究機会に十分な資金が行き渡るわけではありません。MIRIが受けたプロジェクト助成は4番目に大きく、3年間にわたり年額83,000ドルです。（さらにAI Impactsプロジェクト向けに約50,000ドルを受け取りました。また、私たちの研究者が副研究担当者となっている他の二つの助成、「人間の価値の推論」と「反省的推論への形式検証の適用」からも、資金の一部を受け取る予定です。）非常に手厚い助成であり、研究者の支援やワークショップの開催を大いに後押ししてくれますが、私たちの資金不足を解消するには、到底足りません。
これは2015年に入って初めての資金募集なので、今年私たちの仕事に集まり始めた注目と支持が、なぜまだ不足を解消していないのか、と問うには少し早いでしょう。FLIの助成と実施中の資金募集は、資金不足を縮小する仕組みの一部です。不足は小さくなっていますが、一瞬で進む過程ではありません。そして、その過程の一部が、新たに支援してくれるかもしれない人たちに、私たちを支援する理由を伝えることなのです。寄付者にMIRIを支援する理由をもっと明確に伝えれば、資金不足をより早く解消し、AI安全性をめぐる初期の学術的議論に、より大きな影響を与えられるのではないかと期待しています。
これまでいただいたすべての支援に、心から感謝しています。とりわけ、主流の計算機科学の場での論文発表も、十分に具体化された研究課題も、AIの未来をめぐる議論に影響を与えた実績もなかった時期の支援に、感謝しています。初期の支援は、今日の私たちにたどり着くために欠かせませんでした。実績を通じて組織としての可能性がより明確になるにつれ、さらに幅広い支援者や協力者を引き続き迎えられることを願っています。