Gandhiが、人が殺されることを望まないとする。人を殺したいと 思う ようになる薬をGandhiへ差し出すと想像しよう。Gandhiが、薬の作用を 知っている なら、薬を拒む。服用の結果、未来のGandhiが人を殺したいと思い、実際に人を殺し、殺される人が増えると予想し、Gandhiはそれを悪いと評価するからである。同様の論理により、 十分に知的な ペーパークリップ最大化器 、すなわち常にペーパークリップの最大数につながると予想する行動を出力するエージェントは、既定ではペーパークリップを生産したくなくなる自己改変を行わない。そうすれば未来のClippyが生産するペーパークリップは減り、存在するペーパークリップも減るので、現在のClippyは、この自己改変を将来の期待ペーパークリップ数が最大になる行動とは評価しない。
別の言い方をすれば、効用関数の表現を保護することと、似た効用関数を持つ別のエージェントだけを作ることは、ともに 収束的な道具的戦略である。ただし、自分のコードと現実世界の帰結との 全体的な関係を理解する 帰結主義的エージェントについてである。
安定した選好を好む道具的な 誘因 は、帰結主義と全体的理解から導かれるはずに見えるが、それほど高度でない帰結主義者は、理解を保つ形で自己改変 できない かもしれない。どの自己改変または構築した後継者が、どの種類の結果につながるかを理解していないかもしれない。これは「エージェントの主観的方策空間に選好を保存する自己改善はないが、そのような選択肢が利用可能なら望む」という事例と捉えられる。
つまり、