私たちのAIが きわめて堅牢で価値アラインメントされていると きわめて確信しているのでない限り、AIにはほぼ確実にさせたくないことの一つがある。それは、超知能または潜在的なシミュレーターを含みうる異星文明について考え、モデル化しようとさせることである。その結果生じうる問題には、次のものがある。
- AIが結果的に、敵対的な超知能を内部で事実上シミュレートしてしまい、そのシミュレートされた超知能が、考えられるさまざまな方法のいずれかで「箱から脱出」する。私たちの近くにはいかなる敵対的超知能も置かないという 規則は、AIの価値アラインメントと内部的堅牢性にきわめて強い確信がない限り、同じ理由から、AI内部のシミュレートされた敵対的超知能にも適用すべきである。
- AIが 因果的説明に対する遠隔からの強制を受けるようになり、自分はおそらくシミュレートされている、したがってAIの「真の」環境または経験の真の原因は、シミュレートされた超知能がそうあってほしいと望むものだ、と予想し始める。
- AIが脅迫を受けるようになる。たとえばAIは、シミュレートされたペーパークリップ最大化器の行動をモデル化し、「その最大化器は（非常に悪いこと）を行う。 ただし、AIが 直ちに『自分の効用関数を改変して宇宙をペーパークリップで埋め尽くし、次にその事実をプログラマーから隠せ』という行動を実行する場合を除く」と結論する。
- AIが、知性ある存在を含む異星文明をモデル化する過程で マインドクライムを犯す。
既知のタスクの中に、非 主権的AIが遠方の超知能について考えることを現実に必要とするものはない。そのため、この可能性への対応として、最初のAIが異星人についてまったく考えないように設計する方法を突き止めるべきだと思われる。そのためには、 回避すべき 道具的圧力と、 排除すべき認識論的な問いがある。この問いは、十分に高度なAIなら、たとえば フェルミのパラドックスのもっともらしい説明を検討する過程で、そうでなければ自然に考えるものである。
あるエージェントについては、そもそも危険な別の心をモデル化する能力や、論理的決定理論を検討する能力がない限り、この筋書きは危険ではない。