私による機械知能研究所(Machine Intelligence Research Institute, MIRI)の2014年の振り返りをお届けする時期になった。((今年の年次レビューは、昨年の2013年についての全5回のレビューより短い。2013年は活動の重点を移す、例外的に複雑な年だったことも理由の一つだが、振り返ってみると、昨年の全5回のレビューは、単純に、作成にかかった労力に見合わなかったことも理由である。また、最近、発生主義会計への移行を終えたため、3月から翌年2月までの期間ではなく、各暦年について年次レビューを出しやすくなった。したがって、暦年2014年を扱う本レビューは、前回の年次レビュー（2013年3月から2014年2月までを対象）で報告した内容と少し重複する。)) 今後1、2か月のうちに、次の戦略計画についての記事を掲載する予定である。進行中のプロジェクトについても、本レビューの末尾でいくつか詳しく紹介する。
2014年の要約
2013年初め以来、MIRIの中核的な目標は、再帰的に自己改良する能力を含む、高度に汎用的な能力を備えた将来のAIエージェントから、よい結果を得るうえでの技術的課題を専門に研究する、新しい研究分野の創設を後押しすることだった。((もちろん、予測上・政治上の課題もあり、より近い将来のAIシステムからよい結果を確保することに関わる技術的課題もある。しかしMIRIは、超知能を人間の利益に沿うようアライメントする技術的課題に専門化する道を選んだ。あわせて、効果的利他主義としての友好的AI(Friendly AI)研究となぜMIRIなのか？も参照してほしい。))
新分野の立ち上げは、チームで取り組む仕事だった。2013年、MIRIは、未解決問題を定義することと、それらについて技術的な進展を生み出すことにある自らの比較優位へ集中する、と決めた。幸いにも、この領域のほかの組織――人類未来研究所(Future of Humanity Institute, FHI)、存亡リスク研究センター(Centre for the Study of Existential Risk, CSER)、未来生命研究所(Future of Life Institute, FLI)など――と連携することができた。各組織は、一般向けの情報発信、連携関係の構築、助成団体への分野の売り込み、政策立案者との調整などに、それぞれの比較優位を生かした。((当然ながら、実際の分業は、ここで述べたより複雑だった。たとえばFHIも2014年に技術研究で成果を上げ、MIRIも一般向けの情報発信をいくらか行った。))
MIRIは、いくつかの未解決問題を特定し、その解決へ向けた一定の進展も得た状態で2014年を迎えたが、研究に取り組める人はごくわずかだった。そのため、2014年の研究プログラムに注いだ労力の大半は、新たな研究者をこの分野へ呼び込み、研究内容を学んで貢献しやすくすることへ向けられた。新しい技術研究課題の概観、MIRIxプログラム、新しい研究ガイドなどを作った主な動機は、ここにある。ニック・ボストロム（Nick Bostrom）のSuperintelligenceも、そもそもなぜこの研究分野が必要なのかを説明するうえで非常に役立った。
現在、この分野は2014年初めよりはるかに大きく、健全になっている。MIRIの常勤技術研究者は、1人から4人に増えた。約85人がMIRIxのワークショップに少なくとも一度参加した。MIRIの技術研究へ関心を表明した有望な研究者は非常に多く、そのうち約25人が、この夏のMIRI入門ワークショップへの参加意思と日程上の都合がつくことを、すでに確認している。この人数には、過去のMIRIワークショップへ参加した人の大半が含まれておらず、まだすべての招待状を送り終えてもいない。さらに、今後1、2年のうちにMIRIが採用する可能性のある研究者も、今では複数いる。
こうした進展は寄付者なしには不可能だった。MIRIの寄付者の皆さまに、心から感謝している。
以下では、2014年の活動をもう少し詳しく要約する。
2014年の活動概要
- 技術研究： 新たに2人の研究フェローを採用し、MIRIxプログラムを始め、多くの客員研究者を迎え、新しい技術研究課題の概観を含む14本の技術論文・報告書を公開した。
- 戦略研究： 15本の分析、5本の論文、54本の専門家インタビューを公開した。
- 情報発信： いくつかの講演やメディア記事を企画し、Smarter Than Usを刊行した。ユドコウスキー（Yudkowsky）はHarry Potter and the Methods of Rationalityの執筆も続けた。同作は、意外にもMIRIの活動を伝える非常に効果的な手段となっている。
- 資金調達： 2014年には1,237,557ドルの寄付を集めた。2013年をわずかに下回るが、それは2013年の数字に、一度限りの例外的な約525,000ドルの寄付が含まれるためである。
- 運営： MIRIの組織効率と堅牢性を、数多くの点で改善した。
2014年の技術研究
2014年半ばの戦略計画で掲げた上位三つの目標のうち二つは、（1）技術研究の成果を増やすこと、（2）追加の技術研究者の採用に大きく力を入れること（候補者探索 → 候補者育成 → 採用という流れを通じて）だった。三つ目は資金調達に関する目標であり、後述する。
（1）については、この1年で14本の技術論文・報告書を公開した。((おおよその公開順に、BotWorld、Program Equilibrium in the Prisoner’s Dilemma via Löb’s Theorem、Problems of self-reference in self-improving space-time embedded intelligence、Loudness、Distributions allowing tiling of staged subjective EU maximizers、Non-omniscience, probabilistic inference, and metamathematics、Corrigibility、UDT with known search order、Aligning superintelligence with human interests、Toward idealized decision theory、Computable probability distributions which converge…、Tiling agents in causal graphs、Concept learning for safe autonomous AIである。また、ロブ・ベンシンガー（Rob Bensinger）が自然化された帰納について書いた一連のブログ記事を、半技術的な「報告書」1本として数えている。技術研究課題の概観を支える論文のうち数本は、MIRIのブログでは2015年まで発表されなかったため、ここには数えていない。比較のために言えば、2013年に公開した技術論文・報告書は10本だったが、そのうち7本は、2013年12月のワークショップ直後に出した、例外的に短い技術報告書だった。2013年の10本は、Scientific induction in probabilistic metamathematics、Fallenstein’s monster、Recursively-defined logical theories are well-defined、Tiling agents for self-modifying AI, and the Löbian obstacle、The procrastination paradox、A comparison of decision algorithms on Newcomblike problems、Definability of truth in probabilistic logic、The 5-and-10 problem and the tiling agents formalism、Decreasing mathematical strength in one formalization of parametric polymorphism、An infinitely descending sequence of sound theories each proving the next consistentである。)) また、学術研究者向けの技術講演も数回行った。所属研究者が既存の成果を論文にまとめる時間を増やし、採用活動へさらに集中できるようにするため、2014年に開いた研究ワークショップは一度だけだった。
（2）について、MIRIは2014年に以下を行った。
- 新しい技術研究課題の概観を公開した。これにより、新たに研究へ加わる人々が、MIRIの研究内容とその理由をはるかに理解しやすくなった。
- 新たに2人の常勤研究フェローを採用した。ベンジャ・ファレンスタイン（Benja Fallenstein）とネイト・ソアレス（Nate Soares）は2014年4月に加わった。（パトリック・ラヴィクトワール（Patrick LaVictoire）は2015年3月にMIRIへ加わった。）
- MIRIxプログラムを立ち上げた。現在、世界各地で14グループが活動している。このプログラムにより、数学者とコンピュータ科学者は、MIRIの研究課題を学び、議論する時間を持てる。これは、候補者の探索・育成過程の重要な一部である。
- MIRI研究ガイドを公開した。MIRIの研究課題の各領域に通じるため、学生が学ぶべき話題と論文を案内するものである。
- 複数の客員研究者を迎え、数日から数週間、バークレーでMIRIの研究課題に一緒に取り組んでもらった。((2014年の客員研究者には、アブラム・デムスキー（Abram Demski）、スコット・ギャラブラント（Scott Garrabrant）、ニック・ウィーバー（Nik Weaver）、ニサン・スティエノン（Nisan Stiennon）、ウラジーミル・スレプネフ（Vladimir Slepnev）、ツヴィ・ベンソン＝ティルセン（Tsvi Benson-Tilsen）、ダニー・ヒンツ（Danny Hintze）、イリヤ・シュピッツァー（Ilya Shpitser）がいた。))
- 数学の才能ある若者が、自分の人生や世界へ定量的思考力を生かせるよう訓練するSPARC 2014キャンプを共同支援した。SPARCではMIRIの研究を教えなかったが、参加者へ効果的利他主義を教え、より広くMIRIの人的ネットワークと接点を持たせた。SPARC修了者の少なくとも1人は、その後、将来MIRIで働くことへ強い関心を表明している（もっとも、大半はまだ学業の初期段階にあり、採用を検討できる時期ではない）。
加えて、後述する情報発信活動の一部は、研究者候補を探す活動も兼ねている。
私の評価では、2014年の技術研究プログラムの成長は、以前掲げた目標に届かなかった。主な原因は、新しい採用施策を始めるための職員の余力が足りなかったことにある。幸い、この状況は2015年初めに改善した。技術研究プログラムの成長を支える追加の運営職員は、今も募集中である。((資金調達・組織開発担当職員を増やせば、研究プログラムに関わる私自身の時間を増やすことで、研究プログラムの成長に役立つ。また、経営幹部を1人以上増やせば、研究プログラムの成長へ振り向けられる職員の余力そのものが直接増える。)) しかし当面の間、たとえばMIRIx参加者のジェームズ・クック（James Cook）と契約し、MIRIxプログラムをより丁寧に支え、成長させる仕事を依頼したり、ジェシー・ガレフ（Jesse Galef）と契約し、2015年夏のワークショップ運営を手伝ってもらったりすることで、差し迫った人員需要の一部を満たしてきた。
2014年の戦略研究
計画どおり、2014年には戦略研究の成果物を減らした。((今年は、以前の「戦略研究」と「解説研究」という区分をまとめ、単に「戦略研究」と呼ぶ一つの区分にした。)) それでも2014年には、相当な量の戦略研究を公開した。
- MIRIのブログなどに掲載した15本の戦略分析。((おおよその公開順に、How Big is the Field of Artificial Intelligence?、Robust Cooperation: A Case Study in Friendly AI Research、The world’s distribution of computation、Is my view contrarian?、Exponential and non-exponential trends in information technology、How to study superintelligence strategy、Tentative tips for people engaged in an exercise that involves some form of prediction or forecasting、Groundwork for AGI safety engineering、Loosemore on AI safety and attractors、AGI outcomes and civilizational competence、The Financial Times story on MIRI、Three misconceptions in Edge.org’s conversation on “The Myth of AI”、Two mistakes about the threat from artificial intelligence、Brooks and Searle on AI volition and timelines、Davis on AI capability and motivationである。))
- 幅広い話題についての54本の専門家インタビュー。
- AI戦略を扱う5本の論文・章。((おおよその公開順に、Embryo selection for cognitive enhancement、Why we need Friendly AI、The errors, insights, and lessons of famous AI predictions、The ethics of artificial intelligence、Exploratory engineering in artificial intelligenceである。))
ほぼすべてのインタビューは、完成して公開されたのがずっと後だったものも含め、2013年または2014年初めに始めたものだった。2014年半ば、得られる効果が減っているように見えたため、専門家インタビューの優先度を下げることにした。
この戦略研究の成果量は、以前の目標とほぼ一致している。
2014年の情報発信
今年は技術研究をさらに重視したため、情報発信への取り組みを減らした。2014年の情報発信活動には、以下が含まれる。
- Smarter Than Us: The Rise of Machine Intelligenceを刊行した。
- 2014年の効果的利他主義リトリートと効果的利他主義サミットで、四つの講演を行った。
- Superintelligenceの刊行記念ツアーの一環として、ニック・ボストロムをカリフォルニア大学バークレー校へ招いた。
- イライザー・ユドコウスキー（Eliezer Yudkowsky）は、Harry Potter and the Methods of Rationalityの執筆を続けた。同作は、MIRIの活動を伝えるうえで驚くほど効果的だと分かっている。((HPMoRは現在では完結しているが、2014年にはまだ完結していなかった。))
- さまざまなメディアのインタビューを受けた。
この情報発信の成果量は、2014年中にThe Sequencesの電子書籍版を刊行する計画があり、刊行が2015年3月まで遅れたことを除けば、以前の目標とほぼ一致している。
MIRI自身の情報発信活動は減ったにもかかわらず、MIRIが中核的な懸念としている問題についての一般向けの情報発信は、主にほかの人々の尽力によって、2014年に大幅に増えた。FHIのニック・ボストロムはSuperintelligenceを刊行した。これは現在、MIRIが解決のために存在する問題について、入手可能な最良の概説である。スティーヴン・ホーキング（Stephen Hawking）やイーロン・マスク（Elon Musk）をはじめとする複数の著名人が、長期的なAI安全上の懸念をメディアの注目へ押し上げた。さらに、CSERとFLIという二つの新組織が、この問題について大規模な情報発信を行った。主にこうした取り組みの結果、Edge.orgは、広く読まれている2015年の年次質問を、長期的なAIリスクについてのものにした。回答者のうち、サム・ハリス(Sam Harris)、スチュアート・ラッセル(Stuart Russell)、ヤーン・タリン(Jaan Tallinn)、マックス・テグマーク(Max Tegmark)、スティーヴ・オモハンドロ(Steve Omohundro)、ニック・ボストロム、そしてもちろんMIRIのイライザー・ユドコウスキーなど、複数の人々が、この問題についてMIRIの考え方とおおむね一致する見解を示した。
2014年の資金調達
当初、2014年について非常に野心的な資金調達目標を設定した。その直後、資金調達より採用関係の取り組みに集中することを決めた。そのため、2014年の資金調達額は当初の（非常に野心的な）目標を大きく下回ったが、2014年に資金調達ではなく採用へ集中した判断は正しかったと思う。
2014年には、1,237,557ドルの寄付を集めた。((MIRIには寄付以外にもいくつかの資金源がある。たとえば2014年の実現・未実現利益と利息・配当は、価格変動が非常に大きい暗号資産保有分の実現・未実現利益を除いて、約97,000ドルだった。また、電子書籍の売り上げが約7,000ドル、Give for Freeプログラムによる収入が約5,000ドルあった。)) 主な資金源は次のとおりである。
- 夏のマッチング企画による約400,000ドル（ヤーン・タリン、エドウィン・エヴァンス（Edwin Evans）、リック・シュウォール（Rick Schwall）からのマッチング資金200,000ドルを含む）
- 冬のマッチング企画による約200,000ドル（ティール財団からのマッチング資金100,000ドルを含む）
- 1日限りのSV Gives資金調達イベントによる約175,000ドル（このうち約63,000ドルは、通常であればMIRIへ寄付しない寄付者からの賞金とマッチング資金）
- ティール財団からの約150,000ドル（冬のマッチング企画に対する100,000ドルのマッチング資金とは別）
- ジェド・マケーレブ（Jed McCaleb）からの約105,000ドル。((この寄付はリップルで行われ、MIRIは後に売却した。))
2012年以前のMIRIはかなり異なる組織だったため、2013年と2014年の資金調達収入を、それ以前の年と意味のある形で比較することは難しい。((「過去の年との比較」はこちらを参照してほしい。また、2014年中に発生主義会計へ移行したため、過去の年との比較はさらに分かりにくくなった。さらに、寄付者データベースにある過去の誤りを時折発見して修正することが今もあるため、この節の数字は、以前公表した推計と厳密には一致しない可能性がある。最後に、現物寄付はこのページの数字にもグラフにも含まれていない。)) それでも比較を示しておく。
寄付総額は2013年より2014年の方が少なかったが、これは当時新たな寄付者だったジェド・マケーレブから、2013年に一度限りの例外的な寄付があったためである。（ちなみに、この一件の寄付により、研究プログラムを、私が当時もともと計画していたより早く前進させることができた。）マケーレブによる2013年と2014年の大口寄付を除けば、MIRIの資金調達額は2013年から2014年にわずかに増えている。
2014年は新規寄付者が大きく増えたが、その大半はSV Gives資金調達イベント中に行われた少額寄付によるものだった。再度寄付した人の増加のかなりの部分も、しばらく寄付をしていなかった人々が、SV Gives資金調達イベント中に少額を寄付したためだと考えられる。
このグラフは、ここ数年の支援のうち、少額、中額、多額、非常に多額の寄付者から、それぞれどれほど得たかを示している。私の理解では、2012年、2013年、2014年に示された分布は、MIRIと同規模の非営利団体としてはかなり典型的である。（繰り返すが、2013年の緑色の棒が2014年より高いのは、ジェド・マケーレブによる2013年の例外的な寄付のためである。）
2014年の運営
2013年に行った組織改善を土台として、MIRIの運営効率と堅牢性は2014年を通じて大きく向上した。研究プログラム特有の運営手続きを含め、運営関係の仕事が職員の時間に占める割合は、以前より小さくなった。これにより、研究プログラムの成長へさらに多くの余力を振り向けられるようになった。また、職員の離職、サイバー攻撃、収入の変動などに直面してもMIRIをより堅牢にする、新しい方針やサービスを数多く導入した。本稿では運営についてあまり詳しく述べないが、効率的で堅牢な組織の運営について学んだことは、尋ねられれば通常、喜んで共有している。
近日中の予定
次の戦略計画の記事ができるまで、あと1、2か月かかるが、もちろんすでに多くのプロジェクトが進んでいる。今後数か月のMIRIには、次のことを期待してほしい。
- 複数の技術報告書と学会論文が完成に近づいている。
- この夏、一連のワークショップを開く。今後のワークショップへの参加を申し込んだ人や、世界各地のMIRIxグループで将来性を示している人のうち、とりわけ有望な人々を招待している。
- 特に高い成果を上げているMIRIx参加者が、MIRIの技術研究課題にある問題について遠隔で行う非常勤の研究に対して、報酬を支払い始めている。
- 5月、ケンブリッジ大学で意思決定理論の会議を共同開催する。
- 今年も、数学の才能ある高校生を対象とするSPARCのサマーキャンプを支援する。
- 2014年に実施した大規模な戦略研究2件の「最後の仕上げ」を行っている。また、Superintelligence読書会を終え、その成果をまとめたSuperintelligence読書ガイドを作る。さらに、その研究に指定された資金が尽きるまで、AI Impactsへ記事を追加で寄稿する。((用途指定の資金があり、管理上の負担が小さい場合には、こうした戦略研究を喜んで支援する。ただし、それ以外では技術研究プログラムへ集中している。))
より詳しい計画を記した次の戦略計画を、楽しみにしていてほしい。