この記事は詳細な戦略計画ではない。今は、MIRIが2013年に何をしているのか、なぜそうしているのかについて、現状をお伝えしたい。
私たちの使命は変わっていない。人間より賢い知能の創出は、人類史上最も重要な出来事になる可能性が高い。MIRIは、その出来事がよい影響をもたらすようにするために存在している。
それでも、この1年には多くの変化があった。
- 2011年8月の戦略計画に掲げた短期目標は、大部分を達成した。
- 名称を「シンギュラリティ研究所」から「機械知能研究所」（MIRI）へ変更した。
- 以前は、研究、合理性の訓練、シンギュラリティ・サミットという3つの活動をしていた。今は一つ、研究だけだ。合理性の訓練は別の組織CFARとして独立し、サミットはシンギュラリティ大学に買収された。今も同大学とサミットを共同で開催しているが、私たちが割く労力は限られている。
- 2013年1〜3月に数十時間をかけて戦略を練り、20人以上の外部助言者から意見を得て、1）一般向けの発信に割く労力を減らし、2）研究の優先順位を、友好的AIの数学研究へ移すことに決めた。
以下では、この最後の2つの変更について、もう少し詳しく説明したい。
一般向けの発信に割く労力を減らす
これまでMIRIは、とくに毎年のシンギュラリティ・サミットを通じて、一般向けの発信に力を注いできた。この活動で何千人もの人々に使命を伝え、人脈も大きく広げることができた。しかし2013年には、それに割く労力を大幅に減らすことにした。理由は2つある。
- 発信をさらに増やすことに、高い追加的価値があるかは明らかではない。
- オックスフォード大学のFHIが最近、人間に友好的なAIについて一般向けの発信を強化し、ケンブリッジ大学のCSERも同じことを始めつつある。両者の発信には、MIRIにはかなわない名門大学の威信が役立つ。たとえば、2012年11月のCSERに関する報道を参照してほしい。
3種類の研究
これまでMIRIは、3種類の研究を行ってきた。
解説のための研究。私たちの仕事の一部は、それまでMIRIやFHIなどの専門家との会話の中でしか得られなかったり、メーリングリストの記録のように、文章にはなっていても整理されていなかったりした戦略研究を、まとめて明確にするものだ。解説的な刊行物は、世界中の研究者が現在の知見を理解し、その先へ進みやすくする。ただし、過去の仕事を整理して明瞭に説明すること自体にも、かなりの研究上の労力がかかることが多い。MIRIやほかの研究者によるこの種の仕事には、チャーマーズ（2010年）、ミュールハウザーとヘルム（2013年）、ミュールハウザーとサラモン（2013年）、ヤンポルスキーとフォックス（2012年）、そしてニック・ボストロムの近刊予定の機械超知能に関する学術書の大部分がある。
戦略研究。未来が悪い結果へ向かう確率を下げ、よい結果へ向かう確率を上げようとするのは、難しい仕事だ。予測は難しく、世界の因果構造は複雑である。それでも、今日の慎重な研究が、未来をうまく切り抜ける可能性を高められるという点では、私たちはオックスフォードの人類の未来研究所と同意見だ。ボストロムの「技術革命：暗闇の中の倫理と政策」を参照してほしい。そのためMIRIの研究の一部は、しばしばFHIと共同で、技術がどう発展するのか、今できる介入のうち何が最も有望なのかについて、理解を深めることに重点を置いてきた。ユドコウスキー（2013年）、シュルマンとボストロム（2012年）、アームストロングとソタラ（2012年）、カースほか（2010年）、シュルマン（2010年）、レイホークほか（2009年）などだ。
友好的AIの研究。AIのリスク、そしてほかのあらゆる破局的リスクを減らす有望な方法の一つは、人道的な価値観をもち、安定して自己改善するAI、すなわち「友好的AI」、略してFAIをつくることだ。
FAI理論の未解決問題には、「哲学の問題」と「数学の問題」の2種類がある。FAIの哲学の問題は、人類にとってあまりにもわかりにくく、現時点では明確に述べる方法さえわかっていないものだ。人間の価値観を外挿する問題が、その一例である。一方、FAIの数学の問題は、数学の問題になる程度に明確に述べることができる。たとえば、自己改変システムに対するレーブの定理に由来する障害だ。私たちは、FAIの哲学の問題がすべて、やがて明確化されて数学の問題になることを願っている。これまでも、多くの哲学の問いがそうなってきた。複雑さと単純さについてのコルモゴロフ（1965年）、帰納についてのソロモノフ（1964a、1964b）、合理性についてのフォン・ノイマンとモルゲンシュテルン（1947年）、情報についてのシャノン（1948年）、そしてホフスタッターの「超合理性」からテネンホルツが発展させた「プログラム均衡」がある。最後のものの概観には、ウーリッジ、2012年を参照してほしい。
FAIの哲学研究の例としては、ミュールハウザーとウィリアムソン（2012年）、ユドコウスキー（2010年）、ユドコウスキー（2004年）がある。数学研究の例は、クリスティアーノほか（2013年）、ラヴィクトワールほか（2013年）、デューイ（2011年、2012年）、ド・ブラン（2011年）などだ。
FAIの数学研究へ重点を移す
MIRIの解説のための研究は、非常に役立ってきた。多くの人が学術誌や本で私たちの仕事に出会うからではない。ウェブサイトを訪れた何千もの人々が、研究の使命を簡潔に説明した文章を読み、また私たちも、仕事に関心を示してくれた何十人もの知人に、毎月これらの論文を送るからだ。
しかし、1）MIRIやほかの人々がこれまで行った解説の仕事、2）ソタラとヤンポルスキーによる、AIリスクへの対処案についての近刊のサーベイ論文、3）ボストロムの機械超知能に関する近刊書がある今、容易に外注できる種類の解説をさらに増やすことに、高い価値があるかは明らかではない。そこで2013年には、解説のための研究には多くを投じないことにした。
では戦略研究はどうか。質が高いなら、追加の戦略研究には大きな価値があると考えている。研究員の一人、カール・シュルマンは、2013年のほぼ全期間を戦略研究に充てる予定だ。もう一人の研究員、エリエゼル・ユドコウスキーは、1〜3月の大半を戦略研究、とくに知能爆発のミクロ経済学に充てた。また、ニック・ボストロムの近刊書など、FHIがこの主題の戦略研究を進めていることもうれしく思う。
それでも、2013年の研究予算のうち、戦略研究に使うのは半分未満になる。理由は次のとおりだ。
- AIリスクを減らす価値ある戦略研究を、お金を払って得ることは難しい。貢献できるだけの専門知識と分析力をもつ人は、きわめて少ない。しかも、これまで行われた分析の大半は明瞭に書き残されていないため、ほかの人が「追いつく」のも難しい。ただし、ボストロムの本はその助けになるはずだ。
- MIRIには、友好的AI研究での比較優位がある。MIRIのエリエゼル・ユドコウスキーは、友好的AI理論の技術面を誰よりも発展させてきた。また現在のMIRIは、FAIの数学研究に焦点を当てたワークショップを開くなどして、友好的AI研究の拠点として機能している。
- 数学研究は、戦略研究より学術界で関心や協力を集めやすい。AIリスクの戦略研究は、学際的で、必然的に推測を含み、ほかの研究者が共有しているとは限らない仮定に依存しがちなため、学術界でなかなか広がらないことが多い。そうした仮定には、因果的機能主義、AIの実現時期について判断を保留する立場、価値の脆さ、直交性テーゼなどがある。一方、適切な予備知識をもつ数学者なら、明確に述べられた数学の問題をすばやく理解でき、MIRIのように社会的に重要な問題だと考えるかどうかに関係なく、取り組む意欲をもてる。私たちが最近の数学的成果の草稿をブログに投稿してから、わずか数時間で、フィールズ賞受賞者のティモシー・ガワーズがそれを読み、ほかの複数の数学者とともにコメントを寄せてくれた。
最後に、なぜ2013年には、FAIの哲学研究より数学研究を優先することにしたのか。理由は、戦略研究より数学研究を重視する理由と似ている。1）価値あるFAIの哲学研究を外注するのは難しく、2）数学研究は哲学研究より学術界で関心や協力を集めやすいからだ。
2013年の数学研究の活動
2013年にFAIの数学研究を進めるため、具体的に何をするのか。
- 数学研究のワークショップを複数回開催する。 2012年11月の最初のMIRI研究ワークショップは参加者4人だったが、驚くほど実りが多かった。タルスキの定義不可能性定理（1936年）の「抜け穴」として働く新しい確率論理が生まれ、初期的な確率的集合論にもつながった。参加者12人の第2回ワークショップは現在進行中だ。今年の追加のワークショップはおそらく4〜8人で行い、費用は1回あたり約5000ドルにとどまるだろう。FAIの数学研究をさらに進めるとともに、その進展を効率よく生む方法について、多くの仮説を試す機会にもなるはずだ。
- エリエゼルが友好的AI理論の数学的な未解決問題をいくつか説明する。 エリエゼルは現在、自己改変システムに対するレーブの定理に由来する障害の説明を書いている。ほかの未解決問題もいくつか説明するかもしれない。数学者に、取り組めるFAI理論の数学的問題を知ってもらうためだ。
- 客員研究員を複数受け入れる。 MIRIの客員研究員制度は、MIRIの数学研究の課題について理解を追いつかせる、最善の方法であることが多い。数学に関心のある研究者は、ぜひ応募してほしい。
- 数学の研究員を新たに採用するかもしれないが、しないかもしれない。 新規採用にはある程度、資金上の制約がある。それ以上に、私たちはリーン・ノンプロフィットの原則を重視している。つまり、FAIの数学研究を効率よく進める方法について、仮説を素早く安価に試すことが重要だ。さまざまな形式で、さまざまな研究者が参加する小規模ワークショップを開くほうが、採用よりもその目的に適している。FAIの数学研究を効率よく生む最善の方法について証拠が増えてから、新しい研究員を採用する可能性のほうが高い。
協力していただけること
私たちの仕事に貢献するのに適した予備知識があり、優秀で成果を出せる数学者をご存じなら、研究ワークショップ、客員研究員制度、研究員の職について、私たち（[email protected]）へ連絡するよう勧めてほしい。