❦
ときどき、唯一の偉大な道徳原則を発見し、それ以外の価値はすべて、そこから派生する結果にすぎないという人に出会う。
私は、あなたよりそういう人に出会うことが多い。ただ私の場合は、人工超知能にそれだけプログラムすれば、あとは何もかもうまくいく、驚くほど単純な効用関数を知っている人たちだ。
超知能をどうプログラムするかという問題に出会うと、すぐに解こうとする人がいる。ノーマン・R・F・マイヤーは言った。「解決策を示さずに、できる限り徹底的に問題を議論するまでは、解決策を提案してはならない」。ロビン・ドーズは言った。「私は自分が率いたグループで、この戒めを何度も使った。とりわけ非常に難しい問題に直面しているときに。そういうときほど、メンバーはすぐに解決策を提案しがちだからだ」。友好的AIは極端に難しい問題なので、人はそれを極端に速く解いてしまう。
私が見てきた、速くて間違った解決策には、いくつかの大きな種類がある。その一つが、超知能にそれだけあればすべてがうまくいく、信じられないほど単純な効用関数だ。
何年も前に「友好的AI」について語り始めたころ、私がひどくまずい言葉を選んだせいで、この問題を助長したのかもしれない。最適化過程の最適化基準、つまり主体が未来を導こうとする領域を、私は「スーパーゴール」と呼んだ。「スーパー」は、非巡回グラフで有向リンクの出発点となる「親」という意味のつもりだった。だが、その言い回しのせいで、史上最高の超目標、あらゆる目標に優先する目標、すべての倫理を導ける究極の唯一の規則を想像しようとして、幸福な死の螺旋に入り込む人が出たようなのだ。
しかし、効用関数が単純である必要はない。項はいくつ含まれていてもよい。人間に価値観があると言える限り、その価値はたくさんあり、コルモゴロフ複雑性が高いと信じる十分な理由がある。人間の脳には、千もの欲求のかけらが実装されている。ただ、進化心理学を学んでいない人には、その事実が理解されないかもしれない。（長く十分な前置きなしで説明しようとすると、「人間は適応度を最大化しようとしている」と聞こえてしまう。それは進化心理学の主張と正反対なのだが。）
道徳の記述的な理論に関する限り、人間の道徳が複雑なことは既知の事実だ。親の子への愛、子の親への愛、男の女への愛、女の男への愛は、認知的に互いから導かれたのでも、ほかの何らかの価値から導かれたのでもない。これは人間についての記述的な事実である。母親は娘を愛するのに、複雑な道徳哲学をする必要も、ほかの望ましいものへの影響を外挿する必要もない。そうした欲求のかけらはたくさんあり、すべて異なる価値なのだ。
超知能から、このうちたった一つの価値を欠落させるだけで、ほかのすべてを組み込むことに成功しても、超存亡的破局、死よりも悪い運命を招く可能性がある。自分の人生を自分で動かし、自分の目標を達成するという人間の価値以外は、私たちが自分に望むものをすべて望んでくれる超知能がいたら、それは物語で最も古くからあるディストピアの一つだ。（この場合は、ジャック・ウィリアムスンの「組み合わされた手（With Folded Hands…）」である。）
では、驚くほど単純な効用関数を作っている人は、この反論にどう対処するのだろう？
反論？ 反論だって？なぜ、すてきな自説への反論なんて探していると思うのか。（本当に致命的な反論を探すことと、見事に、気の利いた答えを返せる問いにしか出会わない義務を果たすだけの探索とは違う、という点に注意してほしい。）そうした人は、この話を何も知らない。立証責任のことも考えていない。問題が難しいことも知らない。「スーパーゴール」という言葉を聞いて、「複雑性」か何かをめぐる幸福な死の螺旋?へ飛び込んだのだ。
母親の子どもへの愛など、特定の点を問い詰めると、こう答える。「でも、超知能が『複雑性』を求めるなら、親子関係がどれほど複雑かを見て、母親が子どもを愛するよう促すはずです」。やれやれ、何から始めればいいのだろう。
まず、動機づけられた停止から始めよう。本当に複雑性を最大化する方法を探す超知能なら、親子関係が複雑だと気づいて、都合よく立ち止まったりはしない。もっと複雑なものはないかと問うだろう。これは見せかけの正当化だ。想像上の超知能を説得してある方策を選ばせようとしている人は、実際には、複雑性を最大化する方法の純粋な探索によって、その方策の提案にたどり着いたのではない。
議論全体が見せかけの道徳だ。本当に価値を認めているのが複雑性なら、親の愛という動因を、それがどう複雑性を増やすかによって正当化するはずだ。複雑性を求める動因を、親の愛を増やすからと正当化するなら、本当に価値を認めているのは親の愛だということになる。利己主義を支持するために、社会の役に立つという議論をするようなものだ。
だが、感情の死の螺旋という点から考えると、「母親と娘の関係が重要なのは、複雑性を増すからにすぎない。もし関係がもっと単純になれば、私たちは価値を認めなくなる」と言っても、「複雑性」のすてきさは増さない。そのすてきさを増すのは、「複雑性を増やそうとすれば、母親は娘を愛するようになる。こんなよい結果があるんです！」と言うことだ。
これは、唯一の偉大なアイデアさえあれば誰でも道徳的判断ができると説得しようとする道徳家に出会ったとき、いつでも当てはまる。その証明として、「この偉大な何かの、こんなによい結果を見てください」と言う場合だ。「私たちが『よい』と思うこれらのことがよいのは、結果としてその偉大な何かを増やす場合だけです」とは言わない。だが、その議論を本当に成り立たせるには、後者が必要なのだ。
しかし、唯一の偉大なアイデアは「バナナ」だという自説を他人や自分に信じさせたいなら、セックスを望んでよいのはバナナにつながるときだけだと主張するより、バナナはセックスをよくすると論じたほうが、ずっと多くのバナナを売れるだろう。
ただし、幸福な死の螺旋の奥深くにはまり込み、「セックスがよいのは、バナナにつながるときだけだ」と、本当に言い始めてしまう場合は別だ。そのときは、あなたはまずいことになっている。だが、少なくとも他人を説得することはできないだろう。
結局、自分の道徳に基づいて下すはずの局所的な判断をすべて、確実に再現する唯一の過程は、その道徳そのものだ。それ以外のもの、つまり終端の目的を道具的な手段で置き換えようとする試みは、どれも目的を見失い、無限の継ぎ当てを必要とする。システムに与えている指示の源が、その中にないからだ。大きなコンピュータファイルを10ビットに圧縮できると期待すべきでないのと同じく、人間の道徳を単純な効用関数に圧縮できると期待すべきではない。