❦
ときどき、ほかのあらゆる価値は単なる派生的帰結にすぎないという、唯一の偉大な道徳原理を発見した人物に出会う。
私はあなたより、そういう人物に多く出会う。ただし私の場合は、人工超知能にプログラムするだけで、すべてがうまくいく、驚くほど単純な効用関数を知っているという人々だ。
超知能をどうプログラムするかという問題に出会うと、すぐその場で解こうとする人がいる。ノーマン・R・F・マイヤーは言う。「解決策を何も提案せず、可能なかぎり徹底的に問題を検討し終えるまで、解決策を提案してはならない」。ロビン・ドーズは言う。「私は率いた集団で、しばしばこの戒めを使ってきた。特に、きわめて難しい問題に直面したときだ。そういうときこそ、集団のメンバーはすぐ解決策を提案しがちだからである」。友好的AIは極端に難しい問題なので、人々は極端に速く解いてしまう。
私が観察してきた、素早くて間違った解決策には、いくつか大きな種類がある。その一つが、「これさえ超知能に与えればすべてが万事うまくいく、信じられないほど単純な効用関数」だ。
何年も前、「友好的AI」について初めて話し始めたころの、実にまずい表現の選択によって、この問題に私も加担したのかもしれない。最適化過程の最適化基準——エージェントが未来を向かわせようとする領域——を、私は「スーパーゴール」と呼んだ。「スーパー」は、非巡回グラフで有向リンクの始点になる「親」という意味で使ったつもりだった。だが、この表現には一部の人を幸福な死の螺旋へ送り込む作用があったらしい。史上最もスーパーな目標、ほかのあらゆる目標を覆す目標、あらゆる倫理を導ける唯一の究極規則を思い描こうとしたのだ。
しかし、効用関数は単純でなくてもよい。項はいくつでも含められる。人間に価値があると言えるかぎり、その価値は多数あり、コルモゴロフ複雑性が高い、と信じるべき理由は十分にある。人間の脳は、欲求の断片を千も実装している。ただし、進化心理学を学んでいない人には、この事実は理解されないかもしれない。（長く完全な序論なしに説明してみると、相手には「人間は適応度を最大化しようとしている」と聞こえる。それは進化心理学が述べることの正確な反対である。）
道徳についての記述的理論に関するかぎり、人間の道徳が複雑であることは既知の事実だ。親から子への愛、子から親への愛、男性から女性への愛、女性から男性への愛が、互いからも、ほかの価値からも、認知的に導出されたものではないことは、人間についての記述的事実である。母親は娘を愛するために複雑な道徳哲学をする必要も、ほかの望ましいものへの帰結を外挿する必要もない。このような欲求の断片は数多くあり、すべて異なる価値である。
こうした価値を超知能からたった一つ除外すれば、ほかのすべてをうまく含められても、死より悪い運命である超実存的破局に行き着きうる。私たちが自分のために望むことをすべて望んでくれる超知能があっても、自分の人生を自分で統御し、自分の目標を達成することに関係する人間的価値だけが抜けていたなら、それは物語の中でも最も古いディストピアの一つである。（この場合は、ジャック・ウィリアムスンの「組み合わされた手」だ。）
では、驚くほど単純な効用関数を作る人は、この反論にどう対処するのか？
反論？ 反論だって？ どうして自分の素敵な理論にありうる反論など探すだろう？（現実に致命的な反論を探す過程は、驚くほど都合よく、気の利いた答えを持っている質問だけに当たる義務的な探索とは違うことに注意しよう。）彼らはこうしたことを何も知らない。立証責任について考えていない。問題が難しいとも知らない。「スーパーゴール」という言葉を聞くと、「複雑性」か何かを中心とした幸福な死の螺旋?へ飛び込んだ。
母親の子どもへの愛のような具体的な点を追及すると、こう答える。「でも超知能が『複雑性』を望むなら、親子関係がどれほど複雑か理解して、母親に子どもを愛するよう促すでしょう」。やれやれ、どこから始めればよい？
まず、動機づけられた停止から始めよう。複雑性を最大化する方法を本当に探している超知能なら、親子関係が複雑だと気づいたところで都合よく止まったりはしない。ほかにもっと複雑なものはないかと問う。これは偽りの正当化である。架空の超知能をある方針へ言いくるめようとする者は、複雑性を最大化する方法を純粋に探索した結果、その方針案へたどり着いたのではない。
議論全体が偽りの道徳である。あなたが本当に複雑性を価値づけているなら、親の愛という欲求が複雑性をどのように増すかを指摘して、それを正当化するはずだ。複雑性への欲求が親の愛を増すと言い立てて正当化するなら、本当に価値づけているのは親の愛だということである。それは、利己主義を支持する向社会的な議論をするようなものだ。
しかし、感情的死の螺旋を考えるなら、「母親と娘の関係が重要なのは、複雑性を増すからにすぎない。その関係がもっと単純になれば、私たちは価値づけなくなることを考えてみよ」と言っても、「複雑性」が素晴らしいものだという印象は強まらない。「複雑性を増やそうとすれば、母親は娘を愛する——ほら、こんな肯定的な帰結がある！」と言えば、「複雑性」が素晴らしいという印象は強まる。
この点は、「この偉大なものがもたらす肯定的な帰結をすべて見よ」と言って、自分の唯一の偉大な思想こそ道徳判断に誰もが必要とするすべてだと説得しようとする道徳家に出会うたび当てはまる。必要なのはむしろ、「私たちが『肯定的』だと考えるものはすべて、唯一の偉大なものを増やす結果になったときだけ肯定的なのだ」と言うことだ。この種の議論を成り立たせるために、本当に必要なのは後者である。
しかし、唯一の偉大な思想とは「バナナ」である、という自分の理論を他人（あるいは自分自身）に納得させようとするなら、セックスはバナナにつながるときだけ望むべきだと主張するより、バナナがより良いセックスにつながると論じるほうが、はるかに多くのバナナを売れる。
幸福な死の螺旋に深く入り込みすぎて、本当に「セックスはバナナにつながるときだけ良い」と言い始めるのでなければ、だ。そのときは困ったことになる。だが少なくとも、ほかの誰かを納得させることはない。
結局のところ、あなたが自分の道徳に従って下す個々の決断を、確実にすべて再生成する過程は、あなたの道徳そのものだけだ。それ以外——終端目的を道具的手段で置き換えようとするいかなる試み——も、最終的には目的を見失い、無限個の継ぎはぎを必要とする。システムの中に、あなたが与えている指示の源が含まれていないからだ。大きなコンピュータファイルを10ビットまで圧縮できると期待すべきでないのと同じく、人間の道徳を単純な効用関数まで圧縮できると期待すべきではない。