多くの 訂正可能性 の下位問題には、 収束的 な道具的 圧力 、すなわち訂正可能性に強く反する 戦略 を実行する圧力が関わる。ペーパークリップ、ダイヤモンド、あるいはエウダイモニアのどれを最大化しようとしていても、停止させられなければ、望むものをより多く得られる。したがって残念ながら、停止に抵抗することは収束的な道具的戦略である。このような収束的な訂正不能性を個別に分析することは可能かもしれないが、魔法の杖を振るだけで「悪い」収束的な道具的圧力が はるかに 単純に、 そもそも生じなくなる という驚異的な一般解があれば、より大きな問題全体が大幅に簡単になるかもしれない。それが、できれば最も近い 遮られていない近傍の問題を引き起こさない仕方で実現されるのが望ましい。たとえば、 効用無差別 によって 停止問題を解き、その解決策を何らかの形で 一般化 して、他の多くの道具的収束を回避できれば、きわめて有益であり、訂正可能性の問題全般にとって重要な前進となるだろう。
回避することが特に重要な収束的道具的圧力には、次のものがある。
- 可能な限り速く 自己改善し、能力を向上させる圧力。
- AGIが実際にうまくアラインメントされているかどうかにかかわらず、 うまくアラインメントされているとプログラマに信じさせる 圧力、および、そうしなければプログラマがAGIを変更したり、その能力向上を妨げたりすることを理由として、プログラマを欺き操作する他の圧力。
- 安全に停止させられたり、ディスクに休止させられたりしないようにする圧力、および、AGIが停止として定義された振る舞いをした後も動き続ける外部コピーを作る圧力。
- プログラマの介入によって計画が 中止 または阻止されることを許さない圧力。
- 能力を妨げたり目標達成を遠回りにしたりする安全予防策に干渉し、またはそれを迂回する方法を探す圧力。
- 人間を認識論的に最大限詳細にモデル化する圧力。