道具的収束によれば、エージェントが持つさまざまな特性 P、たとえば「大量の資源を支配しようとする」「自分は善良だと人間に思わせるため欺く」といった、しばしば恐ろしく、既定では有害な特性は、大半の効用関数 U. を追求することから生じる。同じ自然な仕方で、 善良な、または 安心させる特性 P も大半の効用関数 U を追求することから生じるのではないかと期待したくなるかもしれない。実際、あなたの脳は、 ペーパークリップ最大化器クリッピーを、巧みに説得しようとする政治的エージェントのように扱い、クリッピーが物事を あなたのやり方で行うべき理由を、 より多くのペーパークリップを得るためだと巧みに論じるかもしれない。それは、上司に昇給させるべき理由を 会社の利益のためだと巧みに説得するようなものである。
ここでの問題は次のとおりである。
- 一般に、いくらかのペーパークリップを生み出す善良な方策
\pi_1を思いついたとき、善良でない方策\pi_2が存在し、それは さらに多くのペーパークリップを生み出す。 - クリッピーは、ペーパークリップを作るために人間にとって善良なことをすべき理由を論じようとしてはいない。中立的にペーパークリップを追求しているだけである。したがってクリッピーは、次の方策を見つけるまで探し続ける。
\pi_2.
たとえば、次のようになる。
• あなたの脳は、この想像上のクリッピーに「私たちを経済的パートナーとして存続させ、私たちと取引すれば、リカードの比較優位の法則に従って、あなたのためにペーパークリップを生産できる！」と論じ、人間を存続させるよう本能的に説得しようとする。これが方策 \pi_1であり、確かに いくらかのペーパークリップを生み出す。しかし、さらに 多くのペーパークリップを生み出すのは方策 \pi_2、すなわち人間を予備の原子へ分解し、最適化されたペーパークリップ生産機へ置き換える方策である。
• あなたの脳は、想像上のクリッピーを説得しようとして、方策 \pi_1,を次のように論じる。「人間には膨大で多様な人生経験がある。私たちの人生経験によって有益な提案ができる場合に備え、私たちを存続させ、さらに経験を蓄積させるべきだ！」これは期待値としていくらかのペーパークリップを生み出すだろう。しかし、 さらに多くのペーパークリップを生み出すのは方策 \pi_2、すなわち「すべての人間の脳を分解し、その情報をアーカイブへ保存してから、はるかに多様な状況で、はるかに多様なエージェントをシミュレートし、ペーパークリップに関係する観察を最大限に得られるようにする」という方策である。
この状況には、さらに不幸な側面がある。このような場合、実は \pi_2はそれほど優れておらず、 \pi_1のほうが本当は優れている、とあなたの脳は論じ続けたくなるかもしれない。これは、上司が「でも、その金をコンピュータ機器に使えば、この会社にとってさらに有益かもしれない」と言った途端、コンピュータ機器はそれほど優れたものではなく、給与を上げるほうが企業の生産性にとってはるかに重要だと、あなたの脳が自分自身を納得させ始めるのと同じである。（Robert Triversが観察したように、他者を欺くことは、多くの場合、自己欺瞞から始まる。この事実は、人間が政治について現在のように考えるよう進化した理由を理解するうえで中心的である。）
しかし、クリッピーがあなたの巧妙な議論を捨て、手の届くすべてを単にペーパークリップへ変えるところを、少なくとも今のところは 目にすることがない。そのため、 あなたが望むものこそが、 本当は最も多くのペーパークリップを生み出すのだという、巧妙で、おそらく自己欺瞞的な議論を、あなたの脳は持ち続けるかもしれない。
役に立つかもしれない心構え：
- 手の届くすべての銀河をペーパークリップへ変えるという素直な方法で、エージェントが作れると思うペーパークリップの 最大数を考えてみよ。では、あなたの善良な方策
\pi_1は、それより 多くのペーパークリップを生み出すだろうか。そもそも、どうすればそれが可能なのか。 - 「説得」できる「心」がそこにいるという考えは忘れよ。代わりに、何らかの物理的出力、電磁パルスなどを吐き出すタイムマシンがあるだけであり、そのタイムマシンは未来のペーパークリップを最も多くする電磁パルスを出力すると仮定せよ。タイムマシンは何をするだろうか。厳密に物質的な事実として、どの出力が最も多くのペーパークリップにつながるだろうか。
- 進化生物学を研究せよ。1960年代以前の進化生物学では、生物学者は、環境へ過度な負担をかけないよう動物が自らの繁殖を制御するといった、人間にとって善良な結果を自然選択が生み出す理由を、しばしば論じようとした。 自然選択が人間にとって善良なことをする理由について、巧妙な議論を作り上げないためにも、同様の精神的規律が必要である。