何が何を引き起こすのかを、私たちはどうすれば知ることができるのか。哲学者たちは何世紀ものあいだ、この問いに頭を悩ませてきた。それは不可能だ、あるいは実験によってしか可能にならない、と主張する人もいた。一方で、この問題にこつこつと取り組み続け、反事実、確率、相関といった概念を、より精密で一貫したものにすることで明確にしていった人たちもいた。
そして1990年代、突破口が開かれた。ジューディア・パールらが、確率的グラフィカルモデルという数学的な仕組みを使えば、原理的には、実験をしなくてもデータから因果関係を推論できる場合があることを示したのだ。
次にエンジニアたちが、この数学的な洞察を用いて、観測データの集合から数秒で因果関係を推論するソフトウェアを書いた。
何世紀にもわたる研究者たちの地道な努力が、因果関係についての私たちの理解を、哲学から数学へ、そして工学へと押し進めた。
友好的AIの研究も同じだ。友好的AIの各下位問題における現在の進捗は、哲学から数学、工学へと続く連続体の、どこかに位置している。
私たちは、友好的AI（FAI）に何を望むかについて、曖昧な哲学的な考えをいくつか持つところから出発した。苦しみをなくし、自然災害から私たちを守り、宇宙の探検を手伝い、ほかにもさまざまな形で人生をすばらしいものにするだけの善意と能力を持ってほしい。たまたま今の私たちが持っている価値観に従って銀河を即座に作り変えるのではなく、道徳的な進歩の余地を残してほしい。中核のアルゴリズムを書き換えてどんどん賢くなっても、私たちに善をもたらす存在であり続けてほしい。等々。
この哲学的な謎から小さな部分を切り出して、数学へと変えてきた。たとえば、パール流の因果分析やソロモノフ帰納がそうだ。パールの数学は、その後、現在のコンピューターで動く因果推論ソフトウェアの作成に使われた。一方、エンジニアたちがこれまでにソロモノフ帰納の実装――現実的な計算量で扱える近似の実装――に成功したのは、ごく限られた用途だけだ。
「安定した自己改変」という問題の二つの部分については、de Blanc（2011）とYudkowsky & Herreshoff（2013）が、それぞれを単純化したものを数学の問題へと変換した。ただし、これは形式的な分析によってさらなる洞察を得るために行ったことであり、哲学的問題のこれらの小さな部分が、数学の段階に至るまで解決されたと主張するためではない。
パトリック・ラヴィクトワールをはじめとするMIRIワークショップの参加者たちのおかげで、((そして、それ以前にはモシェ・テネンホルツのおかげで。))ダグラス・ホフスタッターの「超合理性」という、FAIに関係する哲学的なアイデアも、その大半は数学へとうまく変換されたように見える。工学の作業も一部は行われている。
「ように見える」と言うのには理由がある。人間は数学を実用的な工学の成果に変えることにはかなり長けているが、哲学を何も取りこぼさずに数学へと変えることは、それよりもずっと苦手なようなのだ。たとえば、非常に緻密に思考する人たちの中にも、「ソロモノフ帰納は帰納推論の問題を解決する」と主張した人や、「ソロモノフは完全な帰納理論を発明することに成功した」と述べた人がいる。実際、それは確かに、真に普遍的な帰納の手続きに見える。しかし、比較的気づきにくい理由から、ソロモノフ帰納は帰納推論の問題を完全には解決していないことがわかっている。((ユドコウスキーは後日、ソロモノフ帰納をどう改善できるかについて、さらに詳しく書く予定だ。))
残念なことに、人類が初めて自己改良するAGIを作る際には、このような哲学上の誤りが致命的になりうる（Yudkowsky 2008）。((これは、ピーター・ラドローがこう述べた問題の具体例だ。「技術の曲線は、哲学の曲線を猛スピードで引き離しつつあり、まもなく完全に置き去りにしようとしている」。))FAIに関わる哲学の仕事は、ニック・ボストロムの言うとおり、「締め切りのある哲学」なのである。