近刊の効果的利他主義に関する本に向けて、MIRIを短く紹介する文章を書いた。重要な細部の多くは省いているが、要点の多くをかなり簡潔に押さえている。
機械知能研究所（MIRI）は、人間より賢く、よい影響をもたらす人工知能、すなわち「友好的AI」を生み出すことが、可能な限り大きな善をなすうえで、とりわけ効率のよい方法かもしれないという考えのもと、2000年に設立された。
第一に、未来の人々の数は現在生きている人々の数をはるかに上回る。だから私たちは、「世界全体の視点から見て（期待値で）最も重要なのは、今後数百万年、数十億年、数兆年にわたり子孫が発展していく全体的な道筋にとって、（期待値で）最善となることを行うことだ」と考える。（ニック・ベックステッドの『遠い未来を形づくることの圧倒的な重要性』を参照。）
第二に、経験的な事実に関する判断として、人間より賢いAIこそが、その「子孫が発展していく全体的な道筋」に人類が働きかけるうえで、最も大きな効果をもつ手段だと考える。高度なAIを賢く扱えば、何十億年も続く莫大な恩恵をもたらしうる。扱いを誤れば、人類を絶滅させかねない。これほど大きな利益も損失ももたらしうる未来の変化は、ほかにない。（ニック・ボストロムの『スーパーインテリジェンス：経路、危険、戦略』を参照。）
第三に、友好的AIの研究は、進展が見込め、緊急性が高く、取り組む人が少ないと考える。
進展が見込める：当研究所の研究員と、ワークショップに訪れる参加者は、友好的AIの理論における未解決問題に取り組んでいる。たとえば、新しいことを学び自分のコードを書き換えるAIに、当初の目標を保たせるにはどうすればよいか。自己改変するAIに望ましい目標を組み込むにはどうすればよいか。高度なAIが互いに、また改変された自分自身とも協力するようにするにはどうすればよいか。この研究は現在、理論的な段階にある。それでも概念面では明確な進展があり、これらの問題の解決に専念する新たな研究者コミュニティも育てている。
緊急性が高い：AI研究者への調査も、私たち自身の予測も、人間より賢いAIの発明を21世紀後半、あるいはそれ以前と見込んでいる。残念ながら、友好的AIをつくるために解く必要があるような数学的難題は、先行する進歩の上に新たな成果を積み重ねながら、克服までに数十年の研究を要することが多い。さらに、人間より賢いAIの発明時期は予測がきわめて難しいため、驚くほど急に実現し、準備の時間がほとんど残されない可能性もある。
取り組む人が少ない：友好的AIの研究に専従すると明確に掲げている研究者はごくわずかで、世界全体で5人に満たないかもしれない。
機械の超知能は、その圧倒的な力によって、ほかの因果要因を凌駕し、私たちの世界をつくり変える。これから存在することになる者の圧倒的大多数に、私たちが意図する利他的な恩恵を届けるには、その大部分を、最初に登場する自己改善可能で人間より賢いAIの技術設計を通じて実現しなければならない。よりよい利他活動、よりよい推論、よりよい地球規模の協調などを目指して現在進められている多くの取り組みも、この過程で役割を果たすだろう。しかし私たちは、望ましい目標をもち、安定して自己改善するAIの設計という、中心的な課題に直接取り組むことも不可欠だと考える。この問題を解けなければ、人類のほかの取り組みも無意味になってしまう。
