この記事は、マロの2015年の振り返りに続き、2016〜2017年の新しい計画の概要を示すものです。最優先事項は、重要度の高い順に、（1）見いだした研究課題で技術的な進展を得ること、（2）チームを拡大すること、（3）より広い研究者コミュニティーとのつながりを強めることです。
以前の記事で説明したように、研究計画の最大の変更点は、今後、2014年の研究計画である「エージェントの基礎理論」と、ジェシカ・テイラーが率いる機械学習志向の新しい研究計画「高度な機械学習システムのアラインメント」に、時間を分けて取り組むことです。
ほかにも、三つお知らせがあります。
1. 新たな大口寄付者から支援をいただきました。起業家で計算生物学者のブレイク・ボージェソンが、MIRIに30万ドルを寄付してくださいました。MIRIの歴史で2番目に大きな寄付で、これを上回るのはジェド・マケーレブの2013年の暗号通貨による寄付だけです。このおかげで、拡大計画を、より速く、確信を持って、柔軟に進められるようになりました。
2. 今年は、夏と冬に別々の募金キャンペーンを行う代わりに、より大きな目標を掲げる一つのキャンペーンにまとめ、9月に実施します。
3. エイブラム・デムスキーが、MIRIの研究員への就任を承諾してくれました。ライアン・ケアリーもアシスタント・リサーチフェローとして加わることを承諾し、新しい運営スタッフも採用しました。
これらを含む新しい動きについて、以下でもう少し詳しく説明します。
優先事項1：未解決の技術的問題で進展を得る
2013年以来、MIRIの主な目標は、AIアラインメントで技術的な進展を得ることです。その他の活動のほとんどすべては、直接または間接に、MIRIや他の機関で、より多くの質の高いアラインメント研究を生み出すことを目指しています。
前述のとおり、ジェシカ・テイラーは現在「高度な機械学習システムのアラインメント」プログラムを率いており、今後は研究活動のおよそ半分をこれに充てます。この研究の目標は、非常に高性能なAIシステムが現在の機械学習システムと質的に似ていると仮定し、そのアラインメントに役立つと予想される形式的モデルや理論的な道具を開発することです。研究広報マネジャーのロブ・ベンシンガーが、新しい研究の主題と、他のAI安全性研究の提案との関係をまとめています。
今年の初めに、2015年に研究計画の各分野でどれほど技術的に進展したと思うかを、自分の予想と比べて書き留めました。マロも2015年の振り返りで触れています。要するに、2015年には優先度が低かった価値の指定を除く全分野で、中程度の進展を予想していました。実際には、予想より速く進んだ問題も、遅かった問題もありました。
自然化された帰納と論理的不確実性では、予想を上回り、かなり大きな進展がありました。誤りへの耐性では、予想に届かず、限定的な進展にとどまりました。他の分野は、おおむね予想どおりでした。意思決定理論とヴィンジ的反省では中程度、価値の指定では限定的な進展でした。
また、今年の初めには、2016年末までにどれくらい進展するかについて、個人的な予測もしました。意思決定理論、誤りへの耐性、価値の指定では中程度、ヴィンジ的反省では限定的、論理的不確実性と自然化された帰納ではかなり大きな進展、という予測です。2017年からは、年の初めに予測を公表する予定です。
詳しく説明すると、次のようになります。
ヴィンジ的反省は、今年の優先度は低めです。その理由の一つは、論理的不確実性や意思決定理論でさらに進展がなければ、この分野で比較的容易に得られる成果が、まだあるかどうかの確信が薄れたことです。ベニャ・ファレンスタイン、ラマナ・クマール、ジャック・ギャラガーが進めているHOL-in-HOLプロジェクトを通じて、実装上の難所については多くを学んでいます。しかし、ベニャが2012年末にモデル多相性を開発して以来、この分野では大きな理論的突破口は見られていません。ベニャとカヤ・ファレンスタインは、今もときどきこの主題を研究しています。
一方、論理的不確実性、自然化された帰納、意思決定理論の基礎理論では、この数年間、着実に成果を積み重ねてきました。今後数か月は、ベニャ、カヤ、エイブラム、スコット・ガラブラント、ヴァネッサ・コソイ、ツヴィ・ベンソン＝ティルセンが、この分野に集中します。2016年にも、2015年と同じ程度に重要な進展があると期待しています。
機械学習の研究計画は、主に誤りへの耐性と価値の指定に焦点を当てており、この二つは今年、優先度が大幅に上がります。ジェシカ・テイラー、パトリック・ラヴィクトワール、アンドリュー・クリッチ、スチュアート・アームストロング、ライアン・ケアリーの研究から、中程度の進展を期待しています。ただし、始まったばかりのプログラムなので、大きな突破口があるかどうかを予想するのは、もっと難しいところです。
エリエザー・ユドコウスキーと私は、これらの問題の研究と、解説の執筆に時間を分けます。エリエザーはアラインメント理論について、私はMIRIの戦略や予測に関する問題について書きます。
2016年前半のかなりの時間を、既存の成果や研究提案を文章にまとめること、FHIへの訪問や「頑健で有益なAIについての連続討論会」などを通じて他の研究者と連携することに充てました。今後数週間も、もう少し書く仕事があります。研究もかなり進めることができ、前述の執筆が終われば、論理的不確実性についての大きな新成果を発表する予定です。それでも、年末に数か月、途切れずに研究へ取り組める時間を楽しみにしており、そこから何が生まれるか、わくわくしています。
優先事項2：チームを拡大する
MIRIの研究チームを拡大することは、優先度の高い課題です。運営チームも増員しています。私の時間をさらに空け、盛り上がっているAIリスクの議論に、MIRIがよい影響を与えられる体制を整えるためです。
エイブラム・デムスキーは、この1年間、研究協力員として、「帰納的整合性」や構造的リスクの緩和など、私たちの研究に大きく貢献し、CSRBAIとMIRIサマーフェローのプログラムにも参加しました。そして、このたび中核研究チームへの参加が決まりました。南カリフォルニア大学で計算機科学の博士号を取得した後、2016年末か2017年初めに加わる予定です。ミハーイ・バーラースも、いずれ中核研究チームに加わる予定で、他にも有望な研究員候補を数人検討しています。
もっと近いところでは、機械学習の研究計画で協力してきたデータサイエンティストのライアン・ケアリーが、9月にアシスタント・リサーチフェローとして加わります。
また、新しいオフィスマネジャーとしてアーロン・シルバーブック、広報・資金調達の運営担当としてコルム・オリアンを、最近採用しました。
型理論の研究者の募集も出しています。より広くは、優れた数学的直感を持ち、難しい問題を形式化して解くこと、または成果を具体化して発表用に書き上げることに才能のある研究員を求めています。
また、一般社会でも学術界でも活発になっているAIリスクの議論についていけるよう、広報や発信の専門家も求めています。たとえば、文章を書く力が非常に優れたプログラマーなどです。関心のある方は、履歴書とノンフィクションの文章の見本を、ロブへお送りください。
優先事項3：他の研究者と協力し、伝え合う
2016年には、AIアラインメントが、相対的には主流へ近づいていることを示す、新しい動きがいくつもありました。
- スチュアート・ラッセルとその学生による、価値学習と修正可能性の最近の研究。MIRIとの共同助成研究も含まれます。
- Google DeepMindと人類の未来研究所による修正可能性の共同研究への、エリック・シュミットや報道機関の好意的な反応。この研究は、一部をMIRIが支援しています。
- Google ResearchとOpenAIが発表した、新しい研究提案「AIの安全性に関する具体的な問題」。Open Philanthropy Projectも、この種の研究への助成に関心があると表明しました。
- その他の、より小さな進展。
MIRIの目標は、私たち自身が解くにせよ、他の集団が解くにせよ、AIアラインメントの問題を確実に解決することです。そのため、問題に新しく関心が集まっていることを喜び、今はこの分野を育てる重要な時期だと考えています。
AI安全性研究が主流に近づくにつれて、対話できる研究者の層は広がっています。一方で、私たちのアプローチは依然として独特です。最も長期的で、失敗の影響が大きく、理解が乏しい部分、そして学術界や産業界の誘因に最も合いにくい部分に、特に集中しています。MIRIがなければ、この部分の議論はほとんど完全に見過ごされるだろうと思います。
私たちのアプローチを広め、分野を成長させるため、多様な学術分野の参加者に向けたワークショップを、さらに開く予定です。近いうちに機械学習のワークショップを開催しますし、今後CSRBAIのような催しを増やすことも考えています。また、過去の技術的な成果で、文章にまとめるのを待っているものが多数あります。それらは、計算機科学、経済学、数理論理学、意思決定理論などの分野の、さらに多くの研究者に参加してもらうのに役立つと期待しています。
特に、優先事項1と3を同時に満たす方法に関心があります。重要な研究を進めながら、広い学術界との結びつきも強めることです。新しい研究計画を設けた複数の理由の一つは、それが機械学習コミュニティーによるアラインメント研究を増やす可能性です。
要点をまとめると、中期的には、機械学習から着想を得たAIの手法をより重視しながら、誤りへの耐性と価値の指定に、研究活動の重点をさらに移します。そのために研究チームを拡大しています。
ロブ、マロ、私は、2016年の募金キャンペーンを始める9月に、資金の状況や組織の戦略について、さらに詳しくお話しする予定です。その一連の記事のなかで、現在の戦略が長期的な目標や優先事項にどう結びつくかについても、さらに書きます。
最後に、今週末のEffective Altruism Globalに参加する方へ。私たちは二つのワークショップを開きます。一つはジェシカの新しいプロジェクト、もう一つは前述の論理的不確実性に関する新成果を扱います。また、研究チームと運営チームの双方が、気軽に話せる相談時間を設けます。会場にいらしたら、ぜひ立ち寄って、声をかけ、最近の活動について聞いてみてください。