2018年を振り返る

2018年に機械知能研究所(Machine Intelligence Research Institute, MIRI)が主に注力したことは二つあった。いつもどおりの研究、そして組織の成長である。

前年に支援者の皆さまからいただいた途方もないご支援のおかげで、2018年には2017年の資金調達記事で詳述した計画を積極的に推し進めることができた。掲げた目標の中で最も目立つものは「大きく、速く成長する」ことだった。私たちの新たな研究方向は、チームが大きいほどはるかに多くの恩恵を得られ、しかも必要とする技能を備えた人材は採用しやすいからである。そのため、2019年末までに研究スタッフを新たに10人加えるという目標を設定した。

そこで2018年には、採用への投資を増やし、継続的な成長に必要な基盤を固めることで、2017年に始めた取り組みを加速させた。2017年の資金調達記事以降、著名なHaskell開発者のエドワード・ケメット(Edward Kmett)を含め、研究スタッフは3人増えた。今では、2019年末までの採用数は6～8人となる可能性が最も高いと考えている。ただし、今も多くの有望な候補者と話を進めており、さらに新たな候補者とも出会い続けているため、9～10人に達することも十分あり得ると思う。

総じて、2018年はMIRIにとってすばらしい年だった。研究は順調に進み続け、採用活動も次第に実を結ぶようになった。

以下では、次の点を詳しく述べる。

• 研究の進捗と成果
• 採用活動の詳細を含む研究プログラム支援活動
• アウトリーチ関連の活動
• 資金調達と支出

2018年の研究

2018年の最新情報では、私たちが追究している新たな研究方向と、研究全般について採用した原則非公開方針について論じた。その記事で説明したとおり、これらの新方向は、従来から追究し続けている研究プログラムと同様、概念的混乱の解消(deconfusion)を目指すものである。「最適化のためのまったく新しい低水準の基礎を探す」「認知として非常に透明にできる認知の構成要素を解明しようとする」「いくつかの［比較的深い］アライメント問題を実験する」といったテーマを含み、ソフトウェアシステムとインフラストラクチャーの構築を必要とする。

2018年には、これらの新方向とそれを支えるインフラストラクチャーについて、私たちの高い期待に沿う着実かつ有意義な進展があった。ただし、ソフトウェア開発につきものの難しさも一因となり、望んでいたよりかなり遅く進んだ。全体として、私たちはこれらの新方向に強い期待を寄せており、進捗を加速させるためにチームを拡大したいという思いは変わらず非常に強い。

これと並行して、エージェント基礎論(Agent Foundations)の研究も引き続きMIRIの優先事項だった。この領域で最大の発表は、MIRI研究員のスコット・ギャラブラント(Scott Garrabrant)とアブラム・デムスキー(Abram Demski)が共著した「埋め込み型エージェンシー」である。「埋め込み型エージェンシー」は、私たちのエージェント基礎論研究課題を、一つの中心的な難題に対する異なる切り口として捉え直している。その難題とは、環境に埋め込まれたエージェントにとって、優れた推論と意思決定をどう特徴づければよいのか分からない、というものだ。

以下に、昨年、研究カテゴリーごとに公開した注目すべき技術的成果と分析を挙げる。((以下に示す比較的重要な成果の要約は、主として2018年の資金調達記事から取った。)) あわせて、MIRIのエージェント基礎論研究を率いるスコット・ギャラブラントが昨年行った予測と、その予測に照らして公開研究が示す進捗についてのスコットの評価も掲載する。以下の研究カテゴリーは「埋め込み型エージェンシー」で詳しく説明されている。

2018年のMIRI研究のうち実際に非公開となった割合は、スコットが予測を記録した時点で見込んでいたより大きかった。以下の一覧は、昨年私たちが研究で探究した方向性の一部について、その雰囲気を示す興味深い成果と分析（ただし画期的なものではない）を集めたもの、と考えるのが最も適切である。したがって、これらの評価は私たちの研究全体の進捗についての見方を表すものではなく、その問いに対する優れた代理指標となることも意図していない。2019年の公開成果として何を開示するかを予測するのは難しいため、今年は新たな予測を記録しない。

意思決定理論

• 予測された進捗：3（中程度）
• 実際の進捗：2（弱い～中程度）

スコットは、2018年に公開した意思決定理論上の最大の成果を「モデル化のコストを伴う囚人のジレンマ」だと考えている。これはオープンソース囚人のジレンマを修正し、エージェント同士が相手をモデル化するために資源を支払わなければならないようにしたものである。

ほかに重要な記事として、次のものがある。

• 論理的帰納子は相関均衡に収束する（だいたい）：論理的帰納子をゲーム理論的に分析したもの。
• 漸近的意思決定理論とEDT=CDTのとき、ADTはうまく機能するにおける新たな成果は、適切な反実仮想を学習するうえで何が可能かという理解を少しずつ前進させるものである。

2018年の意思決定理論に関するその他の研究記事：

• MIRIの請負研究者で夏季インターンでもあったアレックス・アペル(Alex Appel)によるもの：(a) 分散協力、(b) 協力的オラクル、(c) EDT=CDTのとき、ADTはうまく機能する、(d) ゲームにおける条件付きオラクルEDT均衡
• アブラム・デムスキーによるもの：(a) 論理時間では、すべてのゲームが反復ゲームである、(b) CDTの合理性条件は、それがEDTに等しいこと（第1部）、(c) CDTの合理性条件は、それがEDTに等しいこと（第2部）
• スコット・ギャラブラントによるもの：(a) 知識は自由である、(b) 反実仮想マギング・ポーカーゲーム、(c) (A → B) → A
• MIRIの夏季インターンだったアレックス・メネン(Alex Mennen)によるもの：願望的思考がうまく機能するとき

埋め込み世界モデル

• 予測された進捗：3（中程度）
• 実際の進捗：1（限定的）

埋め込み世界モデルに関連する比較的重要な成果には、次のものがある。

• サム・アイゼンスタット(Sam Eisenstat)のトロール不可能な事前分布は、アブラム・デムスキーが図解している。この成果は、非ベイズ的な論理的不確実性の道具（最終的には論理的帰納に至ったもの）の開発を促した基本的問題の一つに、ベイズ的な解が存在することを示している。これは何が可能かについての私たちの見取り図に情報を与え、ベイズ的論理的不確実性の方向でさらなる進展につながるかもしれない。
• サム・アイゼンスタットとツヴィ・ベンソン＝ティルセン(Tsvi Benson-Tilsen)による、ベイズ的論理的帰納の定式化。まだ論文としてまとめられていないこの枠組みは、論理的帰納子の信念（論理的帰納子はそれを定期的にベイズ推論側へ提供しなければならない）を信頼するベイズ事前分布を構成することで、論理的帰納をベイズ的枠組みへ押し込む。

サムとツヴィの研究は、「真の」ベイズ的論理的帰納が可能であることの証拠と見ることができる。しかし、「ベイズ的」という言葉で何を意味するかに注意が必要だと示すものとも見られる。この解法はある意味でずるをしており、この方法を採ることで新たな望ましい性質が得られるのかは明らかでない。

スコットは、トロール不可能な事前分布の成果を 1（限定的な進捗）ではなく 2（弱い～中程度の進捗）と評価しているが、これは2018年に記事化されたものの、成果自体は2017年に得られたため、2017年の成果に数えている。

このカテゴリーにおけるほかの最近の研究には、次のものがある。

• アレックス・アペルによるもの：(a) 資源制約付き反射的オラクル、(b) 有界オラクル帰納
• アブラム・デムスキーによるもの：(a) 技術的説明の新たな技術的説明に向けて、(b) 確率は実在し、価値は複雑である

堅牢な委任

• 予測された進捗：2（弱い～中程度）
• 実際の進捗：1（限定的）

このカテゴリーで2018年に公開した最も重要な成果は、おそらくサム・アイゼンスタットの論理的帰納子のタイリングに関する成果である。これは、論理的不確実性を抱えるエージェントについて、タイリング問題の一つのバージョンを解くものである。((ネイト・ソアレス(Nate Soares)が近く発表するタイリング・エージェント論文とは別物である。))

堅牢な委任に関するその他の記事：

• スチュアート・アームストロング(Stuart Armstrong、MIRI研究アソシエイト)によるもの：(a) 標準的なMLオラクル対反実仮想オラクル、(b) 「オッカムの剃刀だけでは非合理的エージェントの選好を推論できない」
• アブラム・デムスキーによるもの：価値への安定したポインタII：環境的目標
• スコット・ギャラブラントによるもの：最適化は増幅する
• ヴァネッサ・コソイ(Vanessa Kosoy、MIRI研究アソシエイト)によるもの：(a) 有限マルコフ決定過程のためのクォンタイル制御、(b) 厳密なクォンタイル方策の計算
• アレックス・メネンによるもの：おもちゃの世界を最適化するAIを安全かつ有用に観察する

サブシステム・アライメント

• 予測された進捗：2（弱い～中程度）
• 実際の進捗：2

私たちは2018年にサブシステム・アライメントについて理解を深めた。その大部分は、エヴァン・ヒュービンガー(Evan Hubinger)、クリス・ファン・メルウェイク(Chris van Merwijk)、ウラジーミル・ミクリク(Vladimir Mikulik)、ヨアール・スカルセ(Joar Skalse)、((エヴァンはMIRIの研究インターンで、クリス、ウラジーミル、ヨアールは外部の共同研究者だった。))そしてスコット・ギャラブラントによる近刊論文「高度な機械学習システムにおける学習された最適化から生じるリスク」に反映されている。((この論文は以前、「埋め込み型エージェンシー」で仮題「内的アライメント問題」として言及されていた。)) 現在、この論文はAI Alignment Forumで順次公開されており、「メサ最適化」という連載になっている。((論文の完全なPDF版は、連載の最終記事と同時に公開される。))

スコット・ギャラブラントの規模に対する堅牢性でも、AIアライメントにおけるその他の問題と並んで、サブシステム・アライメントの問題（「相対的規模に対する堅牢性」）が論じられている。

その他

• 予測された進捗：2（弱い～中程度）
• 実際の進捗：2

2018年に発表したものの中でも最も有用になると期待している成果のいくつかは、上記すべてのカテゴリーにまたがっている。

• 「埋め込み型エージェンシー」：スコットとアブラムによる、上記すべての研究方向への新たな入門。
• 不動点演習：エージェント基礎論研究の中核的な考え方と道具を紹介するために、スコットが作成した演習集。

このほかの注目すべき記事には、次のものがある。

• スコット・ギャラブラントによるもの：(a) AGIに関する直観とデータの源、(b) 論理的帰納の発展史

2018年の研究プログラム支援

2018年には、ベン・ワインスタイン＝ローン(Ben Weinstein-Raun)、ジェームズ・ペイアー(James Payor)、エドワード・ケメットの3人を新たな研究スタッフとしてチームに迎えた。

2018年には組織のリソースの大きな割合を研究チームの拡大に投じ、より一般には、世界で行われるアライメント研究の量を増やすことを目的とした次のような活動に取り組んだ。

• 8回の コンピューター科学者のためのAIリスク （AIRCS）ワークショップを開催。これは、AIアライメントについて考え始めたい、または取り組み始めたいコンピューター科学者とプログラマーのために、費用を全額負担して継続的に開催している一連のワークショップである。ここではAIリスクと関連概念を紹介し、CFAR流の合理性に関する内容を共有し、MIRIやその他の安全性研究チームの仕事を参加者に紹介する。全体としての目的は、良質な議論が起こるようにし、貢献すべきか、どう貢献すべきかを参加者が判断して前進する力を高め、その過程でMIRIまたは他のアライメント団体に参加することに関心を持ち得るかを見極めることにある。2018年の参加者からは、1人がMIRIに常勤で加わり、4人が私たちのインターンとなった。また、その後ほかの安全性関連組織に加わった数人に加え、1年以内にMIRIへ加わる見込みが高い人が10人ほどいた。

• 2.5週間の AIサマーフェロー・プログラム （AISFP）をCFARと共同開催。((夏の最新情報で述べたとおりである。

  応募者は多く、しかもきわめて優秀だった。30枠に170件を超える応募があった（2017年には20枠に50件）。今年のプログラムは2017年より数学色が強く、最後には参加者による新たな分析が相次いだ。全体として、プログラムは以前の年よりもAIアライメント問題を深く掘り下げるうえで成功したように思われ、参加者同士、そして参加者とMIRIスタッフの間に継続的な協働の種をまくうえでも、より成功したように思われる。

  プログラムは非常に活発なブログマラソンで締めくくられ、次のような記事が書かれた。依存型理論とゼロショット推論、効用関数の概念的問題（および続編）、完全クラス：帰結主義的基礎、人間の振る舞いから学ぶエージェントは、人間がまだ学んでいない人間の価値を学べない。)) さらに、MIRI研究員のツヴィ・ベンソン＝ティルセンとMIRI夏季インターンのアレックス・ジュウ(Alex Zhu)は、MITの学生と卒業生を対象とした年央のAI安全性リトリートを開催した。

• 夏に10週間の研究インターンシップ・プログラムを実施。夏の最新情報で振り返っている。インターンはAISFPにも参加し、研究ワークショップにも参加した。これは人間互換AIセンター(Center for Human-Compatible AI)のインターンとの合同開催だった。さらに、その年の後半にも研究インターンを3人受け入れた。そのうち少なくとも1人が2019年にチームへ加わることを期待している。

• AI安全性再訓練プログラムの一環として、2人に助成金を提供。2018年にはオープン・フィランソロピー・プロジェクト(Open Philanthropy Project)から、用途を限定した15万ドルの資金を受けた。その目的は「非常に高い技術力を持つ少数の人々に生活費と指導を提供すること。強力な候補者が3～6か月を再訓練に使えるようにして、AIアライメントの常勤職へ移れる可能性を生み出すこと」である。2018年には2人へ助成金を出した。その中には、後にPartnership on AIのリサーチ・サイエンティストとなったキャロル・ウェインライト(Carroll Wainwright)も含まれる。

上記に加え、2018年には次のことも行った。

• 運営スタッフを追加採用し、継続的な成長を支えるうえで必要な運営能力を確保した。
• より広い新オフィスへ移転した。

2018年のアウトリーチと解説

アウトリーチ、連携、解説の面では、次のことを行った。

• 『合理性：AIからゾンビまで』 の新版を刊行。第1巻と第2巻を皮切りに、文章への数々の改訂と公式印刷版を盛り込んだ。また、スチュアート・アームストロングが2014年に著したAIリスクの本『Smarter Than Us: The Rise of Machine Intelligence』を、smarterthan.usで無料公開した。
• 2018年最新情報：私たちの新たな研究方向 を公開。私たちの研究、原則非公開方針、そしてコンピューター科学者とソフトウェア技術者にチームへの応募を呼びかける理由を詳しく論じた長文である。
• その他の解説記事を発表：「戦略的背景」についての二つの明確化、ポール・クリスティアーノ(Paul Christiano)の能力増幅案に対する難題（LessWrongでの議論、その後の対話を含む）、意思決定理論についてのコメント、ロケット・アライメント問題（LessWrong版）。
• Axios、Forbes、Gizmodo、Vox（1、2）で報道され、Nautilusとサム・ハリス(Sam Harris)のポッドキャストでインタビューを受けた。
• サンフランシスコのEffective Altruism Global と、プラハの 人間整合AIサマースクール で講演。
• 応用理論ワークショップ ／ 経済理論ワークショップ の合同会合で、論理的帰納 について発表。
• 論文「グッドハートの法則の諸変種を分類する」を公開。これはスコット・ギャラブラントが2017年に発表した「グッドハート分類法」をもとにしている。また、ネイト・ソアレスの「価値学習問題」と、ニック・ボストロム(Nick Bostrom)およびエリーザー・ユドコウスキー(Eliezer Yudkowsky)の「人工知能の倫理」を、Artificial Intelligence Safety and Securityに再録した。
• 複数のMIRI研究者がAI Alignment Prizeから表彰を受けた。スコット・ギャラブラントは第1回で1位、第2回で2位となり、MIRI研究アソシエイトのヴァネッサ・コソイは第3回で1位を獲得した。また、スコットとアブラム・デムスキーは第4回でアレックス・ターナー(Alex Turner)と同率1位になった。
• MIRIの上級スタッフは、この年を通じてAI研究と戦略に関する行事や対話にも参加した。

2018年の財務

資金調達

2018年も、MIRIの資金調達にとって好調な年だった。調達総額は510万ドル強で、2017年から12%減少したものの、下のグラフは力強い成長傾向が続いたことを示している。私が昨年の振り返りで推測したとおり、2017年は、2017年12月の市場高騰時に暗号通貨での寄付が大量に流入したことで生じた例外的な年だったように見える。((この節の金額は、寄付を社内で追跡する方法と財務諸表で報告を義務づけられる方法とのわずかな違いにより、監査済み財務諸表と多少異なる場合がある。))

図: 年別寄付総額

（この図と以下の図では、「Unlapsed」は、前年には寄付しなかった過去の支援者からの寄付を表す。）

主な内容は次のとおりである。

• カナダを拠点とする「匿名のイーサリアム投資家2号」からの102万ドル。個人による単独の寄付として過去最大であり、Rethink Charity Forwardが最近設立したカナダのMIRI支援者向け税制優遇基金を通じて行われた。((この設立に尽力したコルム(Colm)に心から感謝する。詳細は税制上優遇される寄付のページを参照してほしい。))
• オープン・フィランソロピー・プロジェクトからの助成金140万ドル。一般支援125万ドルと、AI安全性再訓練プログラム向け15万ドル。
• 年次資金調達で95万1,000ドル。資金調達期間中、MIRI支援者が複数のマッチング企画に参加したことが大きく寄与した。WeTrust Springのイーサリアム・マッチング企画、FacebookのGiving Tuesdayイベント、Raising for Effective Giving（REG）と提携したプロ・ポーカー選手によるDouble Up Driveなどである。
• EA Funds Long-Term Future Fundが推薦した2件の助成金から52万9,000ドル。
• REG経由でPoker Starsから11万5,000ドル。

2018年には637人の異なる寄付者から寄付を受けた。これは2017年より16%少ない。この減少は主に新規寄付者数が27%減ったことによるが、継続寄付者数が安定して伸びる傾向が続いたことで一部相殺された。((このグラフで2014年が異常に高いのは、記憶に残るSVGivesキャンペーンにコミュニティーが積極的に参加したためである。))

図: 年別寄付者数

図: 年別寄付総額（寄付額区分別）

2018年の暗号通貨による寄付は、絶対額（価値にして120万ドル減）でも寄付総額に占める割合（2017年の42%に対して23%）でも減少した。2019年に暗号通貨の価値が回復し続ければ、この傾向が逆転することも十分あり得る。

2017年には、マッチング企画から受け取った寄付が前年のほぼ5倍へと劇的に増加した。2018年には、REGが運営する二つの異なるマッチング企画への参加、FacebookのGiving TuesdayへのMIRI支援者の関与の大幅な増加、WeTrustのSpringキャンペーンでMIRIが首位を獲得したことにより、企業マッチング資金の小幅な減少を補い、マッチング総額は2017年をわずかに上回った。次のグラフは、過去5年間に受け取ったマッチング金額を示す。

図: 年別マッチング寄付総額

支出

2017年の資金調達記事で、私は2018年に約280万ドルを支出すると予測した。昨年末には、その見積もりを修正した。

昨年（そして2018年に入ってからも）支援者の皆さまから驚くほど多くのご支援をいただいたため、資金は予想を大幅に上回り、それを有効に使う方法も予想以上に多く見つかった。特に、2017年にいただいた「追加分」の支援を、採用活動の範囲拡大につなげることができた。その結果、2018年の支出は約350万ドルとなり、2017年に示した2018年の予測額ではなく、2019年予算の一点推定値と実質的に一致する。これは私の予測から大きく上振れし、昨年［2017年］の予算210万ドルからはさらに大きく増えている。

この記事ではさらに、この「追加分」の支援を有効活用した方法を概説している。費用の大きい順に、次のものが含まれる。

• AIRCSワークショップ・シリーズを含む採用関連活動への投資を大幅に増加。受け入れるインターンの数を増やすとともに、有望な候補者が私たちのもとでインターン／試用勤務をするよう惹きつけるため、より高い賃金を支払う意欲も高めた。
• 成長に対応する新しいオフィスを選ぶ際、適合性に対する価格の比重を下げて選別し、研究スタッフがより集中できる職場環境を作るため、可能だったはずの水準より改装に多く支出した。
• 市場水準を大幅に下回る給与を受け取っていた既存スタッフの一部について、給与を引き上げた。

実数が明らかになったので、以下では、この追加資金をどのように活用したかをさらに詳しく述べる。

総支出は375万ドル強となった。下の図は、2018年の実際の支出を、予測および2017年の支出と比較したものである。((特定の種類の支出をどう記録するかという細かな違いにより、これらの数値は近日公開予定の2018年監査済み財務諸表とわずかに異なる。たとえば財務諸表では、改装費用は時間の経過とともに減価償却される固定資産とみなされるため、費用としては計上されない。))

図: 2018年予算見通しと実績支出

大局的には予想どおり、2018年も人件費が支出の大半を占めた。ただし、採用関連活動への支出増と、新オフィスの確保・改装に伴う一度限りの費用により、総支出に占める割合は2017年より小さかった。

採用関連活動への支出は、プログラム活動 のカテゴリーに計上されている。追加資金の主な使途、つまり予測を上回った分の内訳は次のとおりである。

• インターンシップに約17万ドル：研究インターン9人を、1人当たり平均約2.5か月受け入れた。インターンシップにより競争力のある賃金を提示できたため、候補者にほかにも選択肢がある中で、そうでなければ惹きつけることがはるかに難しかったインターン（特に工学を重視する人材）を採用できた。私たちはこのうち3人の採用に積極的な関心を持ち、2人には正式なオファーを出している。今年末までに少なくとも1人がチームに加わっていることを期待している。
• 上記で説明したAI安全性再訓練プログラムの助成金5万4,000ドル。
• このカテゴリーで使った残りの追加資金の大部分は、継続中のコンピューター科学者のためのAIリスクワークショップ・シリーズへの資金提供に充てた。これは上記で説明したものである。

新オフィスに関係する費用は、事業運営費 のカテゴリーに計上される。このカテゴリーで予測を上回った支出は、次の理由による。

• 新オフィスの確保、改装、設備整備に約30万ドル。バークレーで成長に対応できる適切な新スペースを見つけるのは、予想よりはるかに難しく、時間もかかった。((該当期間に利用できる選択肢は非常に限られ、その大半は私たちの要件の多くを満たしていなかった。利用可能な物件のうち、広さ、レイアウト、立地の組み合わせが最も優れていた候補は2018年11月1日から入居するテナントを求めていたが、私たちが移転できたのは2019年1月初旬だった。さらに、その物件は非常に開放的なレイアウトで、ほかの多くの入居希望者には好まれていたものの、私たちの要件を満たさず、改装費用を負担する必要があった。)) 追加資金を使い、移転準備が整う前から希望する物件を確保し、要件に合うよう改装した。当初予測した予算で運営していたなら、ほぼ確実に、はるかに劣る物件へ入ることになっていただろう。
• このカテゴリーで予測を上回った残りの支出は、スタッフのビザを確保するための予想以上の法務費用と、その他多くの小分類にわたる予測をわずかに上回る支出による。