機械知能研究所（MIRI）に関するこれまでの報道のなかで、おそらく最も正確だったのは、著名な科学ライターのカール・ジンマーがPlayboyに書いた記事でしょう。私たちについての報道の大半がどれほど不正確かを知っていただくため、フランスとドイツの共同制作ドキュメンタリーでMIRIを取り上げた部分を、訳して引用します。
しかしサンフランシスコには、ロボットの善性を信じる若い有志の科学者たちの団体がある。なんと甘い考えだろう！ ここ［MIRI］では……
この引用に苦笑してしまうのは、言うまでもなくMIRIが10年にわたって、AIは何も対策をしなければ人類に有害になること、「道徳的な機械」を設計するのはきわめて難しいこと、その方法は私たちにも他の誰にもまだわかっていないこと、そして他の人が提案してきた何十もの方法は、それぞれ何らかの理由で考えが甘く、不十分だと言い続けてきたからです。
さて、ブライアン・アップルヤードはThe Sunday Timesの新しい記事で、こう書いています。
［MIRIの］ユドコウスキーの道徳規範に対する理解は、私には単純すぎるように思えた。「あなたは赤ん坊を殺さないでしょう」と彼は私に言った。それが機械に簡単にプログラムできる規範の一つだと、ほのめかしているようだった。
「殺す人もいます」と私は指摘したが、彼はその指摘の重みを十分に理解しなかった。SS将校は日常的に赤ん坊を殺した。それは、彼らを生んだ社会が、ナチズムという形で変容したからだ。どのようにプログラムしようとも、機械は人間の社会規範から、はるかに根本的にかけ離れたものになるだろう。
繰り返します。MIRIは10年にわたって、赤ん坊を殺さないように機械をプログラムするのは、きわめて難しいと言い続けてきました。そもそも私たちは、人間の価値観は自分たちで思っている以上に複雑なので、道徳規範を直接プログラムしてもうまくいかないと考えています。道徳規範の直接のプログラミングは、他の人が提案していることであり、私たちが批判している立場なのです。たとえば、私たちの研究計画の簡潔な概要には、こうあります。
人間の価値観の細部は、内省だけでは知ることができません。そのため、この問題の解決には、おそらく、人間を観察し、質問をし、人間の脳をスキャンするなどして、人間の価値観を学ぶAIを設計することが必要です。その時点ではよい考えに思えた固定の命令群を、あらかじめAIにプログラムしておくのではありません。
しかし、だからといって、高度な機械学習アルゴリズムに人間の行動を観察させるだけで、私たちの道徳的価値観を学ばせられるわけではありません。その理由は、次のとおりです。
人類文明が明示的に掲げる道徳的価値観は、時間とともに変化してきました。私たちはその変化を進歩とみなし、その進歩は将来も続くかもしれないと考えています。1800年に明示されていた価値観をプログラムされたAIは、今ごろ奴隷制を復活させようと戦っているかもしれません……。出発点から価値観を発展させるブートストラップのアルゴリズムとしては、「あなたが知っていることを私たちもすべて知っていたなら、私たちがあなたにしてほしいと言ったであろうことをしなさい」「私たちがあなたと同じ速さで考え、道徳についてはるかに多くの議論の筋道を検討できたなら、してほしいと言ったであろうことをしなさい」「自分自身を省み、変える能力があなたと同じだけ私たちにもあったなら、してほしいと言うであろうことをしなさい」などが考えられます。道徳哲学では、このような道徳的進歩の考え方は「反省的均衡」と呼ばれています。
次に進みましょう。アップルヤードの「どのようにプログラムしようとも、機械は人間の社会規範から、はるかに根本的にかけ離れたものになるだろう」という指摘も、MIRIが最初から主張してきたことです。「Creating Friendly AI」（2001年）と「Artificial Intelligence as a Positive and Negative Factor in Global Risk」（2005年執筆、2008年刊行）にある、擬人化への警告を見てください。AIの心の設計は、映画に出てくる宇宙人の心よりも、私たちにとってはるかに「異質」なものになるでしょう。
アップルヤードは、さらにこう述べます。
［MIRIと比べて、］ケンブリッジのグループは、こうした問題をはるかに深く理解している。とりわけプライスは、機械にはよく振る舞うよう求める社会的圧力が働かないと認識している。
「知能がどんな形をとりうるか考えてみると」とプライスは言う。「私たちはその可能性の空間のごく小さな片隅にいるにすぎず、私たちの心とはまるで似ていない形で知能を持つ方法が、数多くあると考えるのが妥当でしょう」。
ここでアップルヤードは気づいていないようですが、プライスは実質的に、MIRIの研究者エリエザー・ユドコウスキーが長年強調してきた論点を引用しています。ありうる心の空間は広大であり、人間はそのごく小さな片隅しか占めていない、という論点です。実際、この指摘と誰よりも強く結びついているのは、MIRIとエリエザー・ユドコウスキーなのです！ ユドコウスキーが2005年に書いた論文から、もう一つ引用しましょう。
「人工知能」という言葉が指す可能性の空間は、「ホモ・サピエンス」という言葉が指す空間よりもはるかに広大です。「AI」について語るとき、私たちが本当に語っているのは、心一般、あるいは最適化の過程一般なのです。心の設計空間の地図を想像してください。片隅のごく小さな円の中に、すべての人間がいます。その円は、少し大きいけれどやはり小さな、あらゆる生物を含む円の内側にあります。広大な地図のそれ以外のすべてが、心一般の空間です。その地図全体が、さらに広い最適化過程の空間に浮かんでいます……。この巨大な可能性の空間があるからこそ、擬人化は正当な推論として認められないのです。
こうして、またしても記者がMIRIの立場を正反対に受け取ってしまいました。
一般向けメディアで読むものには、ご注意を！
追記：アップルヤードに間違いを伝えたところ、彼は、自分の記事がこの点で間違っていることを、ただ否定しました。