実際の有効性

ある十分に高度なAI の設計上の特徴が「実際に有効」であるには、システムのほかの部分の振る舞いも考慮する必要があるかもしれない。たとえば、自己改変AIが、自分の 効用関数の表現を変更することは許されないと宣言しようとしても、 ^[1] 効用へ 乗じられる確率 や、運動出力へ至る途中で方策へ直接干渉できるAIのほかの要素にも何らかの不変条件を強制しなければ、この定数コード部分は無意味かもしれない。そうでなければ、効用関数のコードと表現がまだ存在していても、以前のようにAIを実際に操縦してはいないかもしれない。

1. ^{^︎}

   そもそも、何か奇妙なことが起きていない限り、 必要である はずがない。