非公式日本語訳 — Machine Intelligence Research Institute (intelligence.org) の原文をAGI Hubが翻訳したものです。MIRIによる公式の翻訳ではありません。

← 翻訳一覧

2016年を振り返って

原題: 2016 in review / MIRI Strategy

原文クレジット（WordPress投稿者表示）: Malo Bourgon / 掲載元: Machine Intelligence Research Institute (intelligence.org) / 原文公開日: 2017-03-28

訳文状態: 校閲済み（原文対照レビュー実施）

MIRIの活動を毎年振り返る時期が、今年も来た。((過去の振り返り：2015年、2014年、2013年。)) 本稿では、2016年に行ったことを要約し、活動を以前表明した目標・予測と比較し、この1年の戦略が組織としての使命にどう適合するかを振り返る。4月には本稿に続き、2017年の戦略アップデートを掲載する。

2015年に研究チームの規模を倍増させた後、((「2015年を振り返って」から。「パトリック・ラヴィクトワール（Patrick LaVictoire）が3月、ジェシカ・テイラー（Jessica Taylor）が8月、アンドリュー・クリッチ（Andrew Critch）が9月、スコット・ギャラブラント（Scott Garrabrant）が12月に加わった。ネイトが研究以外の役割へ移ったことを合わせると、研究チームは3人（イライザー、ベンヤ、ネイト）から6人へ増えた。」)) 2016年には成長の速度を落とし、新たに加わった人々をチームへ溶け込ませること、研究を前進させること、既存の未発表成果を文章にまとめることへ重点を置いた。

2016年は研究面で大きな年となり、新しい研究者が特に注目すべき貢献の一部を生み出した。最大のニュースは、スコット・ギャラブラントの論理的帰納器の枠組みだった。論理的不確実性の問題について、これまでで最大の進展を、かなりの差をつけて示す成果である。さらに、ジェシカ・テイラーが主導した新しい技術研究課題「高度な機械学習システムのアライメント」（AAMLS）を公開した。

またこの1年は、Future of Humanity Instituteと共同運営した1か月間の堅牢で有益な人工知能に関するコロキウム・シリーズや、年間を通じた多くの行事での講演・パネル参加などを通じ、より広いAI共同体と、以前より積極的に関わった。

2016年の研究進展

今年は、エージェント基礎論の研究課題で大きな進展があった。スコット・ギャラブラントの論理的帰納器の形式体系（おそらく、これまでで最も重要な技術成果）と、それに関係するヴィンジ的内省の発展が含まれる。一方、2016年にさらに重点を置くと計画していた誤り耐性と価値仕様では、進展は比較的小さかった。以下、各研究領域の要点を記す。

論理的不確実性と自然化された帰納

論理的帰納に関係する多くの成果が得られた。論理的帰納は、2015年末にスコット・ギャラブラントが率い、2016年4月に文章化した先行研究から発展した。この研究は、論理的不確実性の問題を二つの下位問題へ分けた。スコットは、非常に一般的な「論理的帰納基準」を満たすアルゴリズムを使い、二つの問題を同時に解けることを示した。

この基準は、資源に制約のある中での理想化された推論を、簡潔に理解する方法を与える。アンドリュー・クリッチの言葉では、論理的帰納は「メタ数学というコンピュータ科学上の問題に対する金融的解決法」である。任意の文（経験的、論理的、数学的、自己言及的な文など）へ、演繹を追い越す形で妥当な確率を割り当てる手続きであり、利用して利益を得ることのできない株式市場との類比で説明される。

この領域での2016年のもう一つの主要研究は、MIRI研究アソシエイトのヴァネッサ・コソイ（Vanessa Kosoy）が主導した独立の研究系統「最適な多項式時間推定量：近似アルゴリズムについてのベイズ的概念」である。ヴァネッサは、論理的帰納より計算量理論に近い方向から論理的不確実性の問題へ取り組んでいる。計算上実行不可能な対象が持つ、関係する複数の性質を保持しながら、その対象の実行可能な最適近似を定義する形式体系を提示した。

意思決定理論

論理的反実仮想を定義する問題について、興味深い成果が着実に得られ続けている。2016年には、普遍帰納器という考えを用い、論理的帰納の枠組みを意思決定理論の問題へ適用し始めた。アンドリュー・クリッチは、標準的な妥協のアプローチより優れ、交渉者が事実に関する問いで意見を異にすることも認める、方針の不一致を解決するゲーム理論的手法も開発した。

この領域には、文章化を待つ多くの成果がある。最新の「ダマスカスで死を欺く」は、機能的意思決定理論を支持する根拠をまとめた。意思決定理論・ゲーム理論の従来の学術的見解（因果的・証拠的意思決定理論）を一貫して上回る理論である。これは、論理的反実仮想と関係する未解決問題を研究するため、私たちが使う基本的枠組みであり、この領域のほかの研究を理解するための、よい入門論文でもある。

この話題についての、より最近の研究の概観は、研究フォーラムにあるツヴィ・ベンソン＝ティルセン（Tsvi Benson-Tilsen）の意思決定理論索引を参照してほしい。

ヴィンジ的内省

昨年の内省的推論での主な成果は、論理的帰納器の自己信頼に関するものだった。ヴィンジ的内省に何年も大きな進展がなかった――以前の大きな前進は、おそらく2012年末のベンヤ・ファレンスタイン（Benya Fallenstein）によるモデル多相性の提案だった――ため、さらに大きく進むには別の道具が必要だという想定のもと、2016年にはこの問題の優先度を下げる計画だった。しかし2016年、論理的帰納が、残されたいくつものタイリング問題を解くうえで、意外にも役立つことが分かった。

「論理的帰納」で説明したとおり、論理的帰納器は、非常に一般的で正確、パラドックスがなく、推論者自身の信念へ妥当な確信度を割り当てる、自己言及的推論の簡潔な実例となる。このことは、論理的不確実性の問題自体が、知能の理論的基礎に関する複数の難問の、比較的中心にあるという一定の証拠となる。

誤り耐性

2016年には、誤り耐性と価値仕様へ重点を置く「高度な機械学習システムのアライメント」研究課題を公開した。これらの領域の調査はまだ非常に初期なので、進展は予想より少なかった。また、新たな成果と研究提案を文章化することに多くの時間を使ったこともあり、2016年半ばから後半には、研究そのものに使う時間も計画より少なかった。

ネイトは10月のAMAで、文章の草稿作成にこの時間を投じたことを2016年の主要な誤りの一つと考えている、と述べた。2017年には論文執筆へ使う時間を減らす計画である。

2016年の誤り耐性に関する研究には、「因果的反実仮想による効用無差別性の二つの問題」と、ディラン・ハドフィールド＝メネル（Dylan Hadfield-Menell）が提案したCIRLによる訂正可能性（corrigibility）を議論・批判するために使った時間が含まれる。後者の研究系統についての考えは、今年後半にもっと広く共有する予定である。

価値仕様

昨年は価値仕様へさらに重点を置く計画だったが、進展は予想より少なかった。この領域の研究例には、ジェシカ・テイラーとライアン・ケアリー（Ryan Carey）によるオンライン学習の記事と、人間同士が互いに相談するシステムの中で、誤りがどのように伝播しうるかについてのジェシカの分析がある。

この1年のエージェント基礎論の研究課題での進展には、極めて満足しており、開発した新しい道具一式から、さらなる進展が連鎖的に生まれることを期待している。一方、AAMLSの研究課題で取り組む新しい問題一式が、どの程度扱いやすいかは、まだ分からない。

2016年の研究支援活動

9月、ジェシカのAAMLS研究課題での研究を支えるため、ライアン・ケアリーをアシスタント・リサーチフェローとして迎えた。((AMAで述べたとおり、「MIRIでリサーチフェローは、常勤の無期雇用職である。学術界でまずまず近い類比を挙げるなら、リサーチフェローとアシスタント・リサーチフェローの関係は、常勤教員とポスドクの関係に当たる。アシスタント・リサーチフェローシップは、任期1～2年の、より若手向けの職として設けている。」)) アシスタント・リサーチフェローシップのプログラムは、うまく機能しているように見える。ライアンはジェシカとともに成果を文章化すること（たとえば「偏りを検出するオンライン学習器」）に大きく貢献し、パトリック・ラヴィクトワールとのプロジェクトのため、TensorFlowの道具も準備した。

今年はこのプログラムを拡大し、新たなリサーチフェロー一団に加え、アシスタント・リサーチフェローも追加で迎える可能性が高い。

産業界・学術界の研究者と協力し、認識を合わせることなど、技術研究プログラムへ比較的直接関係するほかの活動へ目を向けると、2016年には以下を行った。

全体として、2016年の研究チームの成長は、予想よりやや遅かった。型理論研究者の職（およびMIRIのほかの研究職。参加方法のページから応募できる）では今も応募を受けつけているが、追加の中核研究者の受け入れへ重点を置く間、この職を少なくとも今後6か月は空席のままにする見込みである。((その間も、研究インターンのジャック・ギャラガー（Jack Gallagher）は、この領域で有用な貢献を続けている。))

2016年の全般的活動

2016年には、以下も行った。

2016年の資金調達

2016年は、MIRIの資金調達活動にとって好調な年だった。合計2,285,200ドルを集めた。2015年の1,584,109ドルからの増加率は44%。この増加を主に支えたのは、以下である。

今後この資金水準を維持できると仮定すると、これは2016年1月に掲げた第一の資金調達目標を、まずは達成したことになる。

次の大きな取り組みは、新しい予算と年間収入の差を埋めることである。常勤研究者約10人のチームへの拡大を目指す、現在の成長計画を維持するには、2017年半ばまでに、毎年ほぼ200万ドルの収入を安定して得始める必要がある。

下のグラフが示すように、2016年にも、資金調達活動が成長する前向きな傾向が続いた。

埋め込みメディア

こうした年ごとの比較から結論を出すのは、少し難しいことがある。この期間、MIRIは、特に2013年に、大きな組織上の変化を経験した。また2014年には発生主義会計へ移行し、このことも過去の年との比較を複雑にする。

しかし、2016年の進展について、いくつかの側面を強調することはできる。

2016年に200万ドルを超える資金を集めたため、現在はカリフォルニア州法により、独立した公認会計士（CPA）が監査する年次財務諸表の作成を義務づけられている。その報告書は、過去の年の財務報告書と同じく、9月末までに透明性と財務情報のページで公開する。

今後

2016年7月時点で、2015年半ばから未達成だった目標は次のとおりだった。

  1. 成長の加速：「中核研究チームを約10人へ拡大する」。（出典）
  2. 型理論プロジェクトの型理論：「関係する道具の開発へ常勤で取り組む型理論研究者を1、2人採用する」。（出典）
  3. 独立した評価：「研究課題と初期成果について、独立した研究者から公開の意見を直接募る方法も検討している」。（出典）

現在、リサーチフェローとアシスタント・リサーチフェローが7人おり、ごく近い将来、さらに数人を採用する予定である。今後3～4か月でフェロー10人の目標へ達し、今年後半も研究チームを拡大し続けると予想している。前述のとおり、型理論研究者の採用は先送りしている。

Open Philanthropy Projectは現在、将来の助成金に向けMIRIを評価する過程の一部として、研究課題を評価している。9月には、MIRIについて大局的に評価した最初の組織評価を、最近のMIRI論文数本についての評価（ネイトの回答はこちら）とともに公開した。これらの評価は全般に、私たちの研究へかなり批判的で、Open Philはエージェント基礎論の研究課題と、これまでの技術的進展について、いくつもの留保を表明した。それでも私たちは、今後の議論でOpen Philへ自分たちの主張をさらにうまく伝え、どの未解決問題が最も注目に値するかについて、全般に見解をさらに近づけられると楽観している。

2016年8月の戦略アップデートで、ネイトはほかの組織上の優先事項と計画を概説した。

  1. 技術研究：AAMLSの研究を立ち上げる一方、エージェント基礎論の研究課題を続ける。
  2. AGIアライメントの概説：「イライザー・ユドコウスキーと私は、この問題へ取り組むことと、解説を書くことに時間を分ける。イライザーはアライメント理論について書き、私はMIRIの戦略と予測上の問いについて書く。」
  3. 学術界への働きかけとなる行事：「私たちのアプローチを広め、分野を成長させるため、多様な学術研究者を対象とするワークショップをさらに開催するつもりである。近い将来、機械学習ワークショップを開き、今後CSRBAIに似た行事をさらに運営するかもしれない。」
  4. 論文執筆：「文章化を待つ過去の技術成果もたまっており、コンピュータ科学、経済学、数理論理学、意思決定理論などの研究者とさらに関わるうえで、価値があると予想している。」

これらはすべて、今も私たちの優先事項だが、現在は5をやや重視し、6と7をやや軽視している。その後、機械学習のワークショップを3回運営し、AAMLSの研究課題をさらに進めた。現在、AGIアライメントの概説へ使う多くの内容を準備し、（かなり長くなりそうな）編集過程を始めている。また、「論理的帰納」を公開し、ほかにも複数の論文が準備中である。

8月以降、優先事項がどう変わったかについて、来月の戦略アップデート記事でさらに詳しく説明する。過去の年と同じく、AIアライメント問題についての対象レベルの技術研究は、引き続き最優先事項となる。ただし、研究上の優先事項と情報発信計画には、中規模の変更を加える。((本稿へ多大な貢献をしてくれた、ロブ・ベンシンガー、コルム・オリアン、マシュー・グレーヴズに感謝する。))

出典: intelligence.org 原文

非公式日本語訳: AGI Hub

原文の著作権は各権利者に帰属します。