前回の戦略報告（2016年8月）でネイトは、MIRIの優先事項は、エージェントの基礎研究を進めること、新しい「高度な機械学習システムのアラインメント」研究計画に着手すること、ほかの研究者と協力し意見を交わすこと、そして研究チームと運営チームを拡大することだと述べた。
その後、MIRIの上級スタッフは、汎用人工知能（AGI）の実現までどれくらい時間があるかを再検討し、以前考えていたより短期間で実現する可能性が高いと結論づけた。最近のいくつかの証拠が、その方向を示している。たとえば、次のようなものだ。((この一覧は、網羅的なものにはほど遠い。))
- AI研究の面白さがますます目に見えるものとなり、資金も充実している。現在の世代でも次の世代でも、より多くの優秀な人材がAIに目を向けるようになるだろう。
- AGIは、考え方として学術的な関心を集めており、DeepMind、OpenAI、FAIRなど、一流のAI研究組織が明示する目標でもある。特に、数年前より、汎用知能について考えることに前向きな研究者が多くなっているようだ。
- AGIに関わる研究組織が利益を生み出せるという兆候が、外からもずっと明確に見えるようになった。
- AlphaGoのようなAIの成功は、新たな概念的突破口がなくても、囲碁のような分野で人間のトップを上回るのが、予想されたより容易だと示している。((比較的汎用的なアルゴリズムと大量の計算資源によって、囲碁で人間を上回ることができた。通常の対局で最下位のプロにすら勝てなかったところから、わずか数か月で最強のプロを圧倒するところまで進んだ。ここで重要なのは、「AlphaGoが既知の手法から概念的に大きく進歩した」ということではない。「現在の手法は、プロの囲碁ほどパターン認識に依存し、人間にとって難しい課題へ規模を拡大しても、驚くほど障害が少ない」ということだ。))これにより、ほかの分野で人間に匹敵するために必要な、重要な概念的突破口の数の見積もりも下がる。
AGIまでの期間について、MIRIの研究者のあいだで意見が一致しているわけではない。見積もりを集約すると、たとえば2035年になっても研究コミュニティがAGIを開発できていないシナリオに、中程度から高い確率を割り当てている。だが平均すると、研究スタッフが2035年より前にAGIが開発されると考える確率は、1〜2年前より、ある程度高くなっている。このことは戦略にいくつかの影響を持つ。
1. AGIの安全性や能力の分野で、現在中心的な役割を担う人々との関係が、戦略を考えるうえで、より大きな意味を持つ。実現までの期間が短いシナリオでは、AGIに到達するまでに新たに参入する重要な担い手の予想数が減り、現在の担い手が持つであろう影響力が増す。
2. 研究の優先順位が少し変わる。実現までの期間が短くなると、AGIの前に実を結びそうな研究経路が変わり、現在の機械学習システムとさまざまな共通点を持つAGIのシナリオに、確率をより集中させることになるからだ。
どちらも、さまざまな理由ですでに進みつつあった方向だ。((たとえば昨年、「AI安全性の具体的な問題」が発表されたことで、AIコミュニティ全体への幅広い働きかけに使う時間を減らし、その分、OpenAI、Google Brain、DeepMindなどの知り合いの研究者と、より強い協力関係を築く時間を増やした。))ただし、昨年よりも速く、確信を持って、これらの方向に進んでいる。たとえばネイトは、スタッフ管理などの運営業務をMIRIのCOOであるマロ・ブルゴンに引き継ぎ、幅広い広報活動のかなりの部分を私に任せたため、それらに使う時間が以前より減った。その分、研究そのもの、研究の優先順位付け、相手を絞ったコミュニケーションに、より多くの時間を使えるようになった。((組織としての戦略を定めるのは引き続きネイトであり、この記事の考え方も彼によるものだ。))
以下では、これらの見直しが計画にどう反映されるかを、もっと具体的に述べる。
1. 研究計画
組織として最も優先するのは、最近の年次報告でマロが紹介した仕事を引き継ぎ、AIアラインメント問題の研究そのものを進めることだ。
今年は、ごく初期段階で探索的な、安全性研究の新しい方向性をいくつか深く調べる予定だ。AGIの能力研究と、どのような相乗効果がありうるかは、まだ不確かである。この探索に関わる研究は、少なくとも2017年後半までは対外的に公開しない。AGI実現までの期間をわずかでも短縮してしまい、その結果アラインメント研究に残される時間を減らすリスクを下げるためだ。また、新しい成果を出すたびに、安全性上の利害得失を考えなければならないという負担から、研究者を解放するためでもある。((一般に私たちは、AGIの実現を早めうる成果を公開する利益と費用を、研究組織が比較するという規範を支持する。不確実性が十分に大きい場合は、その成果を広める強い積極的な理由がない限り、AGIを早めうる成果を非公開にする側に寄るべきだ。研究の具体的な内容によっては、安全性研究や小規模な組織の仕事にも、この方針が当てはまる。
もう一つの判断材料は、外部向けに成果を書きまとめるには、研究者の追加の時間と注意が必要なことだ。ただし実際には、執筆過程や完成した論文の利益のほうが、この費用より大きい場合が多い。))
以前にも非公開の研究を行ったことはあるが、2017年はそれをより重視する。秋には、プロジェクトの進捗に応じ、探索的な研究計画にどれほど労力を割くか、また一部を公開側に移すかを再検討する予定だ。
公開する研究について、ネイトは今年の進捗をおおよそ次のように予測した。比較のため、2015年と2016年の評価も示す。1は「限定的な進歩」、2は「小幅〜中程度の進歩」、3は「中程度の進歩」、4は「中程度〜大きな進歩」、5は「大幅な進歩」を意味する。((ネイトが予測を最初に記録したのは3月21日で、3月下旬から2017年末までに予想する進歩に基づく。たとえば「限定的」が三つあれば「中程度」一つに等しい、という尺度ではない。また、評価は各分野で期待される最大の技術的成果に基づき、幅広さより深さを重視している。ある年に中程度に見える意思決定理論の成果が一つ、翌年に同程度の成果が十あっても、どちらも「中程度の進歩」と記す。))
論理的不確実性 と 自然化された帰納：
- 2015年の進歩：5。予測：3。
- 2016年の進歩：5。予測：5。
- 2017年の進歩予測：2（小幅〜中程度）。
意思決定理論：
- 2015年の進歩：3。予測：3。
- 2016年の進歩：3。予測：3。
- 2017年の進歩予測：3（中程度）。
ヴィンジ的省察：
- 2015年の進歩：3。予測：3。
- 2016年の進歩：4。予測：1。
- 2017年の進歩予測：1（限定的）。
誤りへの耐性：
- 2015年の進歩：1。予測：3。
- 2016年の進歩：1。予測：3。
- 2017年の進歩予測：1（限定的）。
価値の仕様化：
- 2015年の進歩：1。予測：1。
- 2016年の進歩：2。予測：3。
- 2017年の進歩予測：1（限定的）。
ネイトは今年、2015〜2016年よりも、公開する新しい成果が少なくなると予想している。各分野にどれほどの研究時間を投入するかと、その分野での進歩をどれほど容易だと見積もるかを、合わせて考えた結果だ。
基礎研究の進歩を事前に予測するのは難しい。上の見積もりは、重要な新しい成果が得られる可能性と、その分野でそれがどれほど大きな成果になりそうかを組み合わせたものだ。自然化された帰納については、今年は小さな進歩をする可能性に確率の大半が置かれ、大きな新しい洞察が得られる可能性は低い。意思決定理論では、取り組んでいる問いに関する小さな新しい洞察を得る可能性に確率の大半があり、大きな洞察が得られる可能性は中程度よりやや低い。
研究チームは現在、かなり新しいいくつかの問いに重点を置いている。ジェシカ、サム、スコットは最近、ソロモノフ帰納のような推論手続きが、アラインしていないサブエージェントを生み出す問題に取り組み、これを避けられそうな別の帰納手法を検討している。たとえばこちらを参照してほしい。((比較的新しい優先課題であり、エージェント基礎研究の計画のどの分類にも、あまりうまく収まらない。ただ、最も明確につながるのは自然化された帰納だ。AAMLSの研究計画も、これらの分類にすっきり収まるわけではないが、その研究の大半は、誤りへの耐性か価値の仕様化に分類している。))
意思決定理論の最近の研究に共通する流れは、以前なら証明可能性を使っていた設定で、確率と位相的な不動点を使うことだ。つまり、論理的帰納器や反省的オラクルを使い、改善している。また、これらの手法に着想を得た、反事実の新たな捉え方も開発している。この転換の理由は、ヴィンジ的省察で見られた進歩の大半が、こうした確率的推論と不動点に基づく手法から生まれたためだ。
今年は、いくつかの研究分野について、よりわかりやすい概説も発表する予定だ。意思決定理論の研究へのよい入門として、最新論文「ダマスカスで死を出し抜く」を参照してほしい。
2. 相手を絞った働きかけと、より緊密な協力
今年の対外的な活動では、主に、一流のAI研究組織、特にOpenAIとDeepMind、AI安全性研究組織、特に人類の未来研究所、そして資金提供者や人々をつなぐ組織、特にOpen Philanthropy Projectと、研究の判断に役立つ背景的な見方を交換することを目指す。
現在、DeepMindと共同研究プロジェクトを進めており、OpenAIやほかの組織の中心人物とも良好な関係にある。また、戦略をめぐる状況をどう見ているか、より体系的な説明をまとめており、議論の出発点にしたいと考えている。今後の文章で扱う予定の話題は、次のとおりだ。
1. AGIプロジェクトの実際的な目標と指針。
2. なぜAGIのアラインメントを難しい問題だと考えるのか。近い将来、何年にもわたる大規模な研究投資が必要かもしれず、しかもそれが十分な条件からもそれほど遠くない、と考える理由。
3. AIシステムの認知がどのように目的を達成するかを深く理解することが、AGIのアラインメントに決定的に重要になりそうだと考える理由。
4. タスク指向AGIと、AGIシステムの問題解決の範囲を限定する方法。
これらの話題に関する既存の文章には、ジェシカ・テイラーの「MIRIの高信頼エージェント設計研究の動機について」、ネイト・ソアレスの「なぜAI安全性なのか？」、ダニエル・デューイの「急速なテイクオフによる存亡リスクを終わらせる長期戦略」などがある。
3. 拡大
2017年の予算計画は210万〜250万ドルで、2015年の165万ドル、2016年の175万ドルから増額する。一点での見積もりは225万ドルで、その場合の内訳は、おおよそ次のようになると予想している。
最近、新たに二人の研究フェロー、サム・アイゼンスタットとマルチェロ・ヘレスホフを採用した。ほかにも、採用に向けた手続きを進めている研究者がいる。また、機械学習に関わるAI安全性のアイデアを素早く試作・実装・テストするのを助ける、ソフトウェアエンジニアを募集している。現在、このプログラミング職への適性を試すためのインターンも募集している。応募はこちら。
イベント予算は今年は小さくなる。内部の研究合宿を増やし、2015年の夏季ワークショップ・シリーズや、2016年の連続講演会のようなイベントを減らすためだ。事業運営の費用は増えている。収入が200万ドルを超えたことに伴う会計費用や、外部に委託した継続的な業務の記帳費用などが、一因となっている。
2016年は、資金調達キャンペーンを一度だけ行うことを試した。しかし、当初の目標額に届かなかったため、結局、年末にもスタッフの時間を資金調達に使う必要があった。年末に寄せられた心強い支援を含めると、全体の成果は非常に良好だった。年間229万ドルで、2015年の158万ドルから増えた。ただし、拡大計画をより確信を持って進めるため、今年は以前の年二回の資金調達に戻す可能性がかなりある。
今後5年間の計画は、かなり不確かだ。今年の研究の方向性がどれほど実を結ぶか、ほかの組織との対話がどうなるかによって、戦略が変わる可能性があるためである。いつものように、私たちの活動について知りたいことがあれば、遠慮なく質問してほしい。計画が進むにつれ、引き続き状況をお知らせする！