非公式日本語訳 — Machine Intelligence Research Institute (intelligence.org) の原文をAGI Hubが翻訳したものです。MIRIによる公式の翻訳ではありません。

← 翻訳一覧

2013年を振り返る：戦略研究と解説研究

原題: 2013 in Review: Strategic and Expository Research / MIRI Strategy

原文クレジット（WordPress投稿者表示）: Luke Muehlhauser / 掲載元: Machine Intelligence Research Institute (intelligence.org) / 原文公開日: 2014-02-08

訳文状態: 校閲済み（原文対照レビュー実施）

これは、私個人の定性的なMIRIの2013年の自己評価の第3回です。今回から、2013年のMIRIの研究活動を振り返ります。「研究活動」には、主に研究者を対象とした働きかけと、MIRIが行う3種類の研究を含めています。

今回は、MIRIの戦略研究と解説研究を振り返ります。2013年のFriendly AI研究の振り返りは、後の記事で取り上げます。以下では、どの文章が「解説」でどれが「戦略」研究なのかは、基本的に区別しません。大半が両方の要素を持っているからです。

2013年の戦略研究と解説研究

  1. 2013年に外部へ公開した戦略研究・解説研究は、MIRIが直接刊行した論文4本、学術誌への掲載を目指した論文4本、査読付き書籍の4章、詳しい分析を行ったブログ記事9本、短い分析記事14本、各分野の専門家へのインタビュー16本でした。
  2. これらの取り組みは、おおむね狙いどおりの目的を果たしたと思います。ただ、今後、その目的をもっと効率よく達成する方法について、2013年には多くを学びました。特に、次の2点です。
  3. 目的の一部を達成するには、専門家へのインタビューが最も効率的な方法のようです。
  4. 自分たちで大規模な戦略研究を行うより、すでに分かっていることを書きまとめる「解説研究」と、ほかの人 が取り組めるように未解決の研究課題を記述することに、力を注ぐべきです。

2013年に何を行い、なぜ行ったのか

以下は、MIRIが外部に公開した 2013年の戦略研究・解説研究 に当たる文章の一覧です。例年どおり、2013年にも、少なくともまだ外部には公開していない重要な戦略研究を行いました。たとえば、ニック・ボストロムの近刊 スーパーインテリジェンス：経路・危険・戦略のさまざまな草稿への100時間以上のフィードバック、ロビン・ハンソンの全脳エミュレーションに関する近刊の初期草稿への15時間以上のフィードバック、今後刊行予定のMIRIの論文などに関する多くの作業です。

戦略研究・解説研究の価値と目的について、MIRIのスタッフの見解はさまざまです。私個人は、以下の目的で上の研究活動を支援し、あるいは実施しました。なお、働きかけや研究活動の一部には、認識論の難問に取り組むという追加の目的もあります。そうした問題は、たとえばビジネスや、クーンの意味での「通常科学」の実践よりも、MIRIの研究に深く関わるからです。「パスカルのマグル」はその一例です。また、人気を集めたスコット・アーロンソンへのインタビューのように、解説研究・戦略研究の一部は、一般向けの発信も兼ねています。

  1. 私たちの仮定を検証するとともに、私たちと意見が異なるかもしれない人の見方を理解すること。例：「何十年も先の未来に向けて、どれほどうまく計画できるか」「政策立案者はAGIにどれほどうまく対処するか」、グレッグ・モリセットへのインタビュー。
  2. 人類存亡リスクとFriendly AIに関する戦略的行動の判断材料となる、新たなことを学ぶこと。例：「6つの分野におけるアルゴリズムの進歩」、ハディ・エスマイルザデとヨゼフ・ウルバンへのインタビュー。
  3. 戦略的に重要な問いについて小規模な初期調査を行ったり、超知能戦略の未解決問題をどう掘り下げて研究できるかを説明したりして、ほかの研究者が貢献しやすくすること。例：「知能爆発のミクロ経済学」「6つの分野におけるアルゴリズムの進歩」「何十年も先の未来に向けて、どれほどうまく計画できるか」。
  4. 戦略研究、解説研究、Friendly AI研究に、いつか貢献するかもしれない研究者と関係を築くこと。例：インタビューの多く。
  5. 人類存亡リスクとFriendly AIについて、MIRIに特徴的な見解を形作る、小さな「パズルのピース」を説明すること。例：「AIはいつ生まれるのか」「数学的証明は……を高めるが、保証はしない」、ニック・ベックステッドへのインタビュー。

これらの取り組みは、どれほど目的を果たしたか

戦略研究と解説研究が、その目的をどれほど達成しているかを測る定量的な方法は、まだ導入していません。ただし、基本的なアクセス状況はお伝えできます。Google Analyticsによると、2013年の戦略研究・解説研究のうち、公開以来の「ユニークページビュー」が最も多かったのは、「AIはいつ生まれるのか」（約15,500）、スコット・アーロンソンへのインタビュー（約13,500）、ハディ・エスマイルザデへのインタビュー（約13,500）、「ロボット・AI・失業に関するアンチFAQ」（約12,000）、「知能とは何か」（約5,000）、「パスカルのマグル」（約5,000）、「倫理を気にかけた科学者たちの小史」（約4,500）、「知能爆発のミクロ経済学」（約3,500）、「哲学から数学へ、そして工学へ」（約3,500）です。当然、この一覧は早く公開された記事に有利です。また、Google AnalyticsではPDFのダウンロードを追跡していないため、その数値はありません。現時点でお伝えできるのは、私自身の考察と、私たちの研究を詳しく追っている何人かに前節のほぼ完成した草稿を見せて話し合った内容に基づく、主観的で定性的な印象だけです。

目的（1）について。私たちの仮定を低コストで強く検証する方法を見つけるのは困難です。そのため、2013年にこの目的で行った研究は、仮定の一部を弱く裏付けるものか、仮定をよく検証できるようにするための小さな一歩にとどまりました。前者の例は、グレッグ・モリセットへのインタビューです。たとえば彼は、「はい、［『数学的証明は……を高める』の記事に］完全に同意します」、「後から付け足す方法と比べて、アーキテクチャを設計し直し、コードを書き直すことは、セキュリティの面ではほぼ常に有利になると思います」と述べています。後者の例は、「何十年も先の未来に向けて、どれほどうまく計画できるか」「政策立案者はAGIにどれほどうまく対処するか」です。

目的（2）について。同様に、AIの実現時期、AIの急速な能力向上の速度、心の設計空間における「収束的な道具的価値」というアトラクターの強さなど、重要な戦略変数の値をしっかり絞り込む証拠を、安価に得ることは困難です。そのため、新たなことを学ぶための研究も、少なくとも私たちにとっては、普通は小さな信念の更新しかもたらしません。たとえば、ムーアの法則の見通しについてのハディ・エスマイルザデへのインタビューや、数学的自動推論の現状についてのヨゼフ・ウルバンへのインタビューです。

AIの長期的な未来について、尤度比の大きい証拠をさらに得ることの難しさに対する私自身の反応は、おおよそ次のようなものです。

よい知らせは、将来の機械超知能について、手を伸ばせば得られる成果の大半を、人類はすでに手に入れたようだということだ。15年前はそうではなかった。悪い知らせは、その成果だけでは、どうすれば 勝てる のかがはっきりしないことだ。しかし、非常に大きなものが懸かっている以上、長期予測は難しいと受け入れたうえで、もっと努力する しかない。研究を増やすために、もっと多くの研究者に参加してもらう必要がある。そして、戦略的に重要な変数について、オッズを2対1の比率で変えるベイズ的更新を得るまでに、博士論文10本分の研究が必要かもしれないと、覚悟しなければならない。また、具体的にどんな更新ができるかは分からなくても、関連分野に頭を「漬け込む」のも、おそらくよいことだ。関連分野の事実で頭を満たせば、それらの分野や隣接分野に関する直感全般がよくなるだろうからだ。これも、私が2013年9月以来、大量のノンフィクションのオーディオブックを聴いている理由の1つである。

目的（3）について。MIRIの2013年の戦略研究・解説研究が、ほかの研究者にどれほど役立ったかは、よく分かりません。ただ、そうした効果が形になるには、普通、何年かかかります。「知能爆発のミクロ経済学」は「6つの分野におけるアルゴリズムの進歩」を可能にしましたが、それでも後者を委託する必要があったのは MIRI でした。この研究がほかの人による研究につながることには、私は楽観的です。ほかの研究分野では普通そうなっていますし、超知能戦略だけ違うと考える理由は、あまり見当たらないからです。

目的（4）について。はい、多くのインタビューを通じて、協力的な各分野の専門家との新たな関係が築かれました。

目的（5）について。ここでも、効果をよく測る尺度はありません。ただ、コミュニティの人から「この記事でとてもよく分かった」というコメントは頻繁に届きます。また、分析記事の一部は、ほかの団体からも定期的にリンクされています。たとえばGiveWellと80,000 Hoursは、どちらも自分たちの研究戦略を説明する際、私たちのモデルの組み合わせについての記事にリンクしています。

2014年に向けて

上で述べたように、また運営面の振り返りでも述べたように、研究の影響を測る、よりよい方法がまだ必要です。最初の試みとしては、さまざまな形で影響を与えたいと考えている人の一部にアンケートを行い、私たちの研究からどんな影響を受けたか尋ねるのが、もっともらしい測定方法でしょう。

ただ、影響の測定を改善してそこから学ぶのを待たなくても、戦略研究・解説研究について学んだことと、2014年に変える予定の点について、いくつか述べられると思います。

第一に、各分野の専門家へのインタビューは、私が解説研究・戦略研究に求める目的の一部を達成するうえで、非常に効率的な方法です。1本のインタビューに必要なスタッフの時間は、わずか数時間でした。一方、典型的な「短い」分析記事には5～25人時、「詳しい」分析記事には10～60人時かかりました。

2013年は、7月1日から12月30日までに各分野の専門家へのインタビューを16本、月平均2.66本公開しました。2014年は、月平均4本以上を公開するつもりです。

第二に、新たな戦略研究よりも、解説研究のほうが、労力当たりの価値は高い傾向があります。MIRIには、FHIの協力者と合わせて、「完了」していても、まだどこにも 明快な説明がない 戦略研究が、並外れて多くたまっています。当然、すでに完了した戦略研究を説明するほうが、独自の戦略研究を行い、そのうえで 説明するより、少ない労力で済みます。

第三に、影響を与えたい集団、たとえばAI研究者や巨額の寄付を行う篤志家を代表する、知的な批判者と対話し、その懸念に最も関わる文章を用意することで、解説研究、場合によっては戦略研究の優先順位を付けられます。新たな解説を読んでもらった後で再び対話し、その異論が残っているかを確かめます。残っていればなぜか、解消していればほかにどんな異論があるかを確認します。それが次の文章の優先順位を決める材料になり、私たちのモデルの欠陥を明らかにすることもありえます。

第四に、学生たちは、超知能戦略を明らかにするため、自分にできる研究プロジェクトを知りたいと思っています。残念ながら、経験豊かな教授が、どんな論文を研究して書けば超知能戦略の理解が進むかを尋ねに押し寄せる状況には、まだなっていません。しかし、多くの 大学院生 は尋ねてきます。また、大学院生の 指導教員 とも何度か話しました。学生がよい研究課題を見つけるのを手伝うのに多くの時間がかかるため、学生と所属学科に適した研究計画案を、誰かが用意してくれれば助かるとのことでした。

さらに、超知能戦略という歴史の浅い狭い分野でも、この戦略がうまくいった先例は いくらか あります。最も明確な例はニック・ベックステッドです。彼はFHIとの対話をきっかけの1つとして、遠い未来の形成に関わることの重要性について、有益な哲学の博士論文を書きました。ジョアン・ロウレンソは、FHIとMIRIとの対話もきっかけとなって、現在、道徳的増強の見通しについて哲学の博士論文を書いています。ジェレミー・ミラーは、MIRIとの対話をきっかけの1つとして、知能の普遍的な尺度についての学位論文プロジェクトを計画し始めたところです。ほかにも例はあると思いますが、まだ確認できていません。

そこで2014年には、超知能戦略の判断材料となりうる研究プロジェクトについて、短い説明を公開する予定です。ニック・ボストロムの スーパーインテリジェンスが出版されれば、この作業はずっと容易になるので、おそらく今夏の出版まで待つことになるでしょう。

第五に、ニック・ボストロムによる、機械超知能についての刊行予定の学術的な単著は、超知能戦略の研究にもっと多くの研究者に参加してもらう、またとない機会です。そのため、2014年の「将来、戦略研究者となるかもしれない人への働きかけ」の一部は、この本の普及を手伝うことになります。また、読了して内容を役立てる人の割合を増やすため、この本の読書ガイドも公開する予定です。

出典: intelligence.org 原文

非公式日本語訳: AGI Hub

原文の著作権は各権利者に帰属します。