自己改善という収束的な道具的戦略を回避する

急速な能力向上、または訓練パラダイムと試験パラダイムの間だけでも大きな能力向上があることは、AGIアラインメントが難しくなると予想される主要理由の一つである。史上初めて構築・試験・使用する一つまたは複数のAGIには、可能な限り急速な自己改善を させない ことがおそらく望ましい。自己改善への非常に強い 収束的誘因 と、自己改善に 近接する ことを行う誘因があるため、既定ではAGIが自己改善への素朴な遮断を破る方法を探すと予想される。これは 非敵対原則に違反する。したがって、AGIの能力を制限するどんな提案も、そのAGIにおける自己改善への 道具的誘因を回避する 方法を見つけるという、きわめて強い要件を含意する。代案は、 全能性テストに不合格となり、非敵対原則に違反し、 AGIのコードを、AGI自身が承認するコードと積極的に非整合にし （ブレーキがコード水準の措置なら）、AGIが破ろうとする安全措置を 唯一の防衛線として設置することである。