開発段階で予測不能

提案されているいくつかの問題は、 高度な安全性の領域において、成熟した エージェントのある特性に依存するため難しいとされる。その特性を、エージェントの設計・教育・試験を行う時点で事前に予測するのは難しいとされるからである。このような特性を「開発段階で予測不能」であると言う。たとえば、 予見されない最大値問題は、 高度なエージェントほど広く豊かな解空間を探索できないときに生じる。そのため、どの現実世界の戦略または結果状態が、ある形式的効用関数を最大化するかは、開発段階では予測不能となる。