2017年の振り返り

この記事では、研究、人材採用、解説、資金調達など、2017年のMIRIの活動を振り返ります。

2017年はMIRIにとって大きな転換の年でした。実際にプログラムを書いて実験する作業に、これまでよりはるかに大きく依存する新しい研究プロジェクトに着手したからです。これらのプロジェクトは2018年も続けており、2018年の活動報告で詳しく紹介しています。そのため、過去にない速さで組織を拡大するための基盤づくりに、大きな力を注ぎました。インフラを整え、エンジニアリングの経歴を持つより多くの人に働きかけられるよう、採用方法も変えました。

同時に、2017年の資金調達は過去最高でした。Open Philanthropy Projectからの支援が大幅に増えたほか、暗号資産コミュニティからも、暗号資産ブームを受けて非常に寛大な支援が寄せられました。おかげで、自信を持って計画を進め、技術研究と組織の拡大により多くの力を振り向けられる、たいへん恵まれた状況になりました。

今回の年次報告の公開が例年より大幅に遅れたことをおわびします。主な理由の一つは、2018年の活動報告を参照できなければ、2017年の活動を列挙しても、十分に伝わらないと考えたことです。2018年の報告では、新しい研究に取り組む理由や、さまざまな活動のつながりを詳しく説明しています。MIRIの活動を追っていた方々にご不便をおかけしたことを、おわびします。次の年次報告はもっと早く、2019年の第1四半期に公開する予定です。

2017年の研究の進展

2017年の組織活動報告で述べ、最近の2018年の活動報告でさらに詳しく説明したとおり、2017年には研究の力の入れどころが大きく変わりました。エージェント基礎研究計画の拡張版は引き続きMIRIの主要な研究分野ですが、現在はコードによる実験により適した、新たなアラインメント研究の方向性にも取り組んでいます。

2017年の初めから、研究成果の多くを公開しない方針を徐々に採るようになり、新しい成果のうち一般に公開されるものは減っています。ただし、2017年も2018年も、研究の一部は引き続き公開しています。AI Alignment Forum上の研究もその一つです。

2017年、スコット・ギャラブラントはエージェント基礎研究計画を、意思決定理論、埋め込まれた世界モデル、頑健な委任、サブシステムのアラインメントという四つの新しい分類に再編しました。その後、エイブラム・デムスキーとスコットは、この四つの問題を「埋め込まれたエージェント性」というより大きな問題の異なる側面として捉え、その入門解説を共同執筆しました。

2017年3月時点の予測（（以下では、2018年の研究計画と予測で説明したスコットによる用語の変更に合わせ、予測の表記を修正しています。））と2017年を通じた進展を比較しました。1を「限定的」、3を「まずまず」、5を「大きな」進展とする5段階尺度を使うと、公開している研究の進展は、振り返って次のように評価できます。

意思決定理論

• 2015年の進展：3。（予測：3。）
• 2016年の進展：3。（予測：3。）
• 2017年の進展：3。（予測：3。）

2017年の特に重要な成果には、ローヴェアの逆問題の提起と、その一つの変種の解決（（この問題は、スコットが記事「至るところに現れるローヴェアの逆問題」で名付けたものです。））、協調的オラクルの開発、そして因果的意思決定理論と証拠的意思決定理論の関係への理解の深化があります。最後の例として、「喫煙病変問題を最も強い形にする」が挙げられます。

また、「関数的意思決定理論」や「意思決定は悪い結果を矛盾させるためにある」など、意思決定理論の入門資料もいくつか公開しました。

埋め込まれた世界モデル

• 2015年の進展：5。（予測：3。）
• 2016年の進展：5。（予測：3。）
• 2017年の進展：2。（予測：2。）

この分野における2017年の主要な成果には、互いを観測できる論理帰納器は互いを支配するという発見と、その系として、論理帰納器の極限は互いを支配するという結果があります。

それに加え、スコット・ギャラブラントは、「超実数版ブラウワー」によって、確率的真理述語、反省的オラクル、論理帰納器に関する自分の考え方が大きく変わったと報告しています。また、ヴァネッサ・コソイの「不完全なモデルを使った予測」は、論理帰納器に関する私たちの先行研究を土台に、複雑な環境をモデル化するための、よりすっきりした、純粋に学習理論に基づく形式化を行いました。これにより、「論理帰納」で開発した手法が、論理とは無関係な従来の系列予測への応用にも有用であることが示されました。

頑健な委任

• 2015年の進展：3。（予測：3。）
• 2016年の進展：4。（予測：3。）
• 2017年の進展：4。（予測：1。）

タイリング問題では大きな進展があり、グッドハートの法則についての考え方も明確になりました（「グッドハートの分類」を参照）。この分野のほかの注目すべき研究には、ヴァネッサ・コソイの委任型逆強化学習の枠組み、価値の組み込みにおける中心的な要件としてエイブラム・デムスキーが提示した「価値への安定したポインタ」、そしてライアン・ケアリーの「CIRLの枠組みにおける修正不可能性」があります。

サブシステムのアラインメント（新設）

2017年のMIRIにおける研究上の大きな変化の一つは、サブシステムのアラインメント問題に、そもそも取り組むようになったことでした。そのきっかけには、エリエザー・ユドコウスキーの「最適化デーモン」、ポール・クリスティアーノの「普遍事前分布は実際にはどのようなものなのか」、ジェシカ・テイラーの「帰納を無害なものにするうえでのいくつかの問題」などの議論がありました。この問題に関する私たちの大まかな考え方は、スコット・ギャラブラントとエイブラム・デムスキーによる最近の解説にまとめられています。

2017年には、高度な機械学習システムのアラインメント（AAMLS）研究計画への注力も減りました。これらの問題を非常に重要だと考え、今も定期的に立ち返っていますが、これまでのところAAMLSの研究は、ほかの研究計画ほど解決の見通しが明確ではないと感じています。

全体として、2017年に本格的に探り始めたアラインメント問題へのアプローチには、埋め込まれたエージェント性に関しても、さらに新しい研究路線に関しても、2018年末の今なお、大きな期待を抱いています。

2017年の研究支援活動

2018年の活動報告で述べたように、現在取り組んでいる新しい研究路線は、従来のエージェント基礎研究と比べて、はるかに人を採用しやすいものです。

この研究は、エージェント基礎研究計画よりも「それ自体が道しるべを示してくれる」ように見えます。以前は、採用する人の研究上の好みが私たちときわめてよく一致していることを求めていました。今では、研究領域の地形が十分に見えてきて、その要件を多少緩められると考えています。科学的に独創的で、研究上の好みがかなり近い人を引き続き求めていますが、今の研究は、MIRIで働く優秀な数学者やエンジニアの人数に応じて、はるかに規模を広げやすくなっています。

そのため2017年には、そして引き続き2018年にも、MIRIが大幅かつ持続的に成長できるようにすることが最優先事項の一つでした。採用活動の拡大では、ブレイク・ボーゲソンから多大な支援を受けました。ボーゲソンは、Natureに論文を発表した計算生物学者で、現在はMIRIの理事でもあります。それ以前にはRecursion Pharmaceuticalsを共同創業し、CTOとして同社の機械学習の取り組みを率いていました。

具体的には、2017年に次の活動を行いました。

• サム・アイゼンスタット、エイブラム・デムスキー、ツヴィ・ベンソン＝ティルセン、ジェシー・リップトラップ、ニック・タールトンなどの研究スタッフを採用しました。
• CFARとともにAI Summer Fellows Programを開催しました。
• エージェント基礎研究計画、AAMLS研究計画、ポール・クリスティアーノの研究計画を扱う研究ワークショップを3回開催しました。また、内部向けの研究合宿などのイベントも多数開催しました。
• ソフトウェアエンジニア向けの試用プログラムを実施しました。参加者は夏の間、研究エンジニアになるための訓練を受け、1名の採用につながりました。

2017年の対話と解説

2017年の重点課題の一つは、ほかの存亡リスクやAI安全性の団体と、戦略をめぐる状況についてさらに認識をすり合わせ、互いの見立てを比較することでした。これまでの議論の一端は、ダニエル・デューイのHRADについての考えと、それに対するネイトの応答をご覧ください。より最近のものとして、ポールの研究提案に関する、エリエザー・ユドコウスキーとポール・クリスティアーノの対話もあります。

2017年には、公開の対話、解説、アウトリーチもかなり行いました。具体的には次のとおりです。

• Inadequate Equilibriaを刊行しました。エリエザー・ユドコウスキーによる、集団やシステムの非効率性と、個人がどのような場合に現状よりうまくやれると期待できるかを論じた本です。
• 研究の解説を作成しました。「MIRIの高信頼エージェント設計研究の動機について」「人間を超える知能がよい結果をもたらすようにする」「セキュリティの思考様式と普通の疑い深さ」「セキュリティの思考様式と成功のロジスティック曲線」です。
• 戦略と予測の解説を作成しました。「超知能についてのチェグウォフスキへの応答」「汎用人工知能には火災報知器がない」「AlphaGo ZeroとFoom論争」「人工超知能を懸念すべき理由」「知能爆発についてのフランソワ・ショレへの返答」です。
• The Huffington Post、Vanity Fair、Nautilus、Wiredに取り上げられました。また、マーク・オコネルの『To Be A Machine』、リチャード・クラークとR・P・エディの『Warnings: Finding Cassandras to Stop Catastrophes』の取材も受けました。
• O’Reilly AI Conferenceで講演し、Beneficial AI会議とEffective Altruism Global（1、2）のパネル討論に登壇しました。
• TARK 2017、FEW 2017、AAAI/ACM Conference on Artificial Intelligence, Ethics, and Societyで論文を発表し、『The Technological Singularity: Managing the Journey』にエージェント基礎研究計画を掲載しました。
• アリゾナ州立大学の「AIがもたらす悪い結果を想定し、対処する」ワークショップや、UCLAの破局的リスクと存亡リスクに関するコロキウムなど、ほかのイベントにも参加しました。

2017年の財務

資金調達

2017年の資金調達は、過去の実績を大きく上回りました。調達総額は5,849,500ドルで、2016年の2.5倍を超えました。（（この節の金額は、監査済み財務諸表と若干異なる場合があります。寄付を内部で記録する方法と、財務諸表で求められる報告方法との間に、小さな違いがあるためです。））年次募金活動でも、最も高い目標額の2倍を集めました。これほどの支援をいただいたことに、深く感謝しています。予想外の資金調達の成功により、成長計画をはるかに大きな自信を持って進められるようになり、さまざまな形で採用活動にも弾みがつきました。（（詳しくは2018年の募金活動の記事をご覧ください。））

2017年に資金が大幅に増えた主な要因は、次のとおりです。

• 暗号資産による多額の寄付が寄せられ、2017年の寄付総額の約42%を占めました。特に大きかったものは次のとおりです。
  • 匿名の寄付者から、ETHで101万ドル。
  • Ethereumの考案者で共同創設者のヴィタリック・ブテリンから、ETHで764,970ドル。
  • クリスチャン・カルデロンから、BTCで367,575ドル。
  • プロのポーカープレイヤーであるダン・スミス、トム・クロウリー、マーティン・クロウリーから、BTCで295,899ドル。Raising for Effective Givingと協力して実施したマッチング・チャレンジの一環です。
• そのほかの寄付には、次のものがありました。
  • Open Philanthropy Projectからの125万ドルの助成金支給。2016年にMIRIへ提供された50万ドルの助成から、大幅に増えました。
  • Berkeley Existential Risk Initiativeからの20万ドルの助成金。

下のグラフが示すように、資金調達額は2014年以降、毎年増えていますが、2017年はそれまでの伸び率と比べても、明らかに突出した年に見えます。これは主として暗号資産による多額の寄付によるものですが、それを除いても約340万ドルを調達しており、2016年の1.5倍に当たります。（（これは、その年の寄付総額の33%をジェド・マケーレブからの1件のRippleによる寄付が占めた、2013年と似ています。））

図: 年ごとの寄付総額

（このグラフと以下のグラフで、「再開」は過去に支援してくださったものの、前年には寄付しなかった方からの寄付を指します。）

全体の傾向を左右したのは特に大きな寄付でしたが、どの寄付額の層でも、寄付者数と寄付額の両方が増えました。

図: 年ごとの寄付者数

図: 年ごとの寄付総額（寄付者ごとの寄付額の層別）

2017年には、重複を除いて745の個人・団体から寄付をいただきました。2016年より38%多く、SVGivesに参加した2014年の寄付者数にほぼ並びました。

国外の寄付者からの支援の割合は、2016年の20%から2017年には42%に増えました。主な要因はETHによる101万ドルの寄付でしたが、これを除いても、支援の割合は20%から25%に増えています。2016年末から、国外の支援者が税制優遇を受けられる形で寄付する方法を見つけるため、力を尽くしてきました。その成果によって、2018年にはこの割合が大幅に増えると見込んでいます。（（この取り組みに尽力してくれたコルムに、心から感謝します。詳しくは税制優遇を受けられる寄付のページをご覧ください。））

図: 国内と国外からの寄付の比較

支出

2016年の募金活動の記事では、2017年の支出を200万～220万ドルと見積もっていました。2017年中に、この見積もりを210万～250万ドル（点推定値は225万ドル）へと修正し、主要な予算区分ごとの内訳も示しました。

全体として、見積もりはかなり正確でした。支出総額は210万ドルをわずかに下回りました。下のグラフは、実際の支出と見積もりを比較したものです。（（その後の予算見積もりでは、主要な予算区分をより簡略化しています。実支出との比較にあたり、新しい区分と整合するよう、2017年の予算見積もりをこの区分に組み替えました。））

図: 2017年の予算見積もりと実支出の比較

見積もりから最も大きくずれたのは、AAMLS研究計画に取り組んでいた研究者が、良好な関係を保ちつつ、ほかのプロジェクトへ移ったことによるものでした。

過去の年次報告は、2016年、2015年、2014年、2013年をご覧ください。2017年以降の、より新しい活動については、2018年の活動報告と募金活動の記事をご覧ください。