中止可能な計画

「中止可能な」計画とは、世界への正味の影響を容易に非常に小さく切り替えられる計画である。AIが車をピンクに塗れと命じられたとする。AIは、その車をピンクに塗る自己複製ナノマシンを構築し始める。AIに停止効用関数と停止ボタンを首尾よく与えていれば、ボタンを押してAIを停止させるかディスクへ休止させ、それ以上行動させないようにできる。しかし、すでに作られたナノマシンには影響しないかもしれない。中止ボタンを持つAIなら、いつでも「中止」命令を受け取れるようにナノマシンを構築しておく。その命令を受ければ、AI側の追加行動を最小限にしながら、複製されたものを含む全ナノマシンが静かに自己破壊する。すなわちAIは、元の計画の部分的実行と、途中での中止用サブ計画の起動を合わせた世界への影響が最小になるよう、あらかじめ計画している。