ある エージェント がある側面において「反省的に安定」であるとは、後継エージェントの構築方法や自らのコードの変更方法を選べる場合に、そのエージェントが 必ず その側面について同様に考える後継者だけを構築することをいう。
- タイリング・エージェント理論では、 期待効用充足化器 は反省的に 整合的である。別のEU充足化器を構築することを是認するからである。しかし、EU充足化器は反省的に 安定ではない。期待効用最大化器の構築も是認しうるためである(最大化器を構築した結果が充足基準を満たすと期待する)。
- 効用関数 が ペーパークリップだけを重視する 場合、その関数は「反省的に安定」である。ペーパークリップ最大化器は 必ず 別のペーパークリップ最大化器だけを構築しようとするからである。
現在の(ある側面に関する)考え方をしているあなたにとって、その側面についてそのように考えないことが容認できないように思えるなら、あなたはその側面において反省的に安定している。
反省的安定性が「良い」ことを意味するわけではない点や、ペーパークリップ最大化器がペーパークリップ最大化器のままでいるのは悪いように思えるため、あるいは因果決定理論家がカジュアル決定理論家よりも段階的に正気なものを構築すると想像するために、反省的に不安定なエージェントを望むことに関して生じうる混乱を解きほぐすこと。