動的システムに 大量 の最適化圧力を加えると、そのシステムは最適化器、さらには知能へと変わりうる。古典的な例は自然選択である。自然選択は、DNAを複製する生物を構築するようDNAを徹底して最適化する過程で、ある場合には十分に強く押し進めた結果、DNAが自ら帰結主義的最適化を行える認知システムを指定するようになった。当初、これらの認知的最適化器が追求した目標は、自然選択の最適化対象である繁殖適応度とよく相関していた。結晶化したこれらの最適化器が、そもそも選択されて存在するようになった理由がそれである。しかし、これら「脳」というタンパク質塊がさらに最適化されると、互いに認知内容を作り共有し始めた。その後、能力が急速に向上したため、 文脈の変化 が起き、脳による内部目標の追求は、もはやDNA複製と確実には相関しなくなった。
これは 人間 の立場からすれば、起きてくれて素晴らしい出来事であった。しかし、DNAの包括適応度という立場や、単に安定し、信頼でき、よく理解された最適化を進めるという立場からすれば、それほど良い出来事ではなかった。AGIが強力な内部・外部の最適化圧力を展開する場合、その最適化が意図的または偶発的に、新たな最適化様式へ結晶化することは、ぜひとも避けたい。以前のシステムとの目標アラインメントや、他の安全性質が壊れるなら、なおさらである。（自然選択からデーモンが結晶化した結果、自然選択そのものより人道的な生物が生まれたからといって、AGIによる最適化からの結晶化が人道的な何かを生む確率も相当高いとは限らない。このことが直観的に分かるまで、 直交性テーゼ を見つめ続ける必要があるかもしれない。）
システムへの強い最適化圧力によって、そのシステムが最適化器へ結晶化したとき、特にそれが強力である、以前のシステムより強力である、または以前のシステムとアラインメントしていない場合、その結晶化した最適化器を、以前のシステムの「デーモン」と呼ぶことができる。この用語法では、人間は自然選択のデーモンとなる。AGIが何らかの内部システムを強く最適化した後、噴出したデーモンに突然乗っ取られ、そのデーモンが、それまで利用可能なRAM容量と相関していた何かを最大化しようと認知的に望むようになったなら、これはAGIが内部システムへ適用していた種類の最適化から結晶化したデーモンだという。
これはAGI安全性上の難題をもたらす。特に、最適化圧力が加えられる あらゆる場所 で、 あらゆる種類 の最適化圧力について、少なくとも次の一つが真であってほしい。
- 最適化圧力は、デーモンを生み出すには弱すぎると、知りうる形で確実に分かっている。（「知りうる」の部分を別にすれば、現在のすべてのシステムについて真であるように思われる。）
- 最適化の対象はチューリング完全でも、他の意味でプログラム的に汎用でもなく、制限された解空間には、 どのような場合にも デーモンが含まれ えない 。どれほど強い最適化圧力を加えてもそうである。（1兆個未満のニューロンを含む3層の非回帰型ニューラルネットワークは、どれほど強く最適化しても、おそらくデーモンを噴出させない。）
- AIは最適化という概念とデーモン問題を十分に把握し、AIの外部に認知的推論を行う機構を作ることを確実に避ける。（特定種類のデーモンを排除する述語を追加するなら、 最も近い遮られていない近傍 の問題に遭遇する可能性があることに注意されたい。）
- AIは、元のエージェントの目標と安全性質をすべて共有する認知的サブエージェントだけを作る。たとえば元のAIが 低影響であり、 穏健に最適化し、 中止可能であり、 タスクの実行を目標とするなら、そのAIは、低影響で、元のAIと組み合わさっても過度に強く最適化せず、同じ停止ボタンで中止でき、現在のタスクの実行を目標とする認知システムだけを作る。