「タスク」とは、限られた量の努力を用い、限られた時間にわたり、空間の有界な部分を最適化することで、可能な限り完全に充足できる、高度なAI内の目標または下位目標である。
たとえば「可能な限り多くのペーパークリップを作れ」は、空間と未来の時間のあらゆる場所にあるペーパークリップを対象とするので、この意味での「タスク」では決してない。行使可能な最大限の努力に達するまで、より多くの努力を使い、さらに多くのペーパークリップを作ることが、ますます選好される。
タスク性を持たない、より微妙な例として、Disneyの「魔法使いの弟子」のシナリオを考えよう。Mickey Mouseはほうきに、大釜を満たすよう命じる。するとほうきは、作業場が水浸しになるまで、さらに多くの水を大釜へ注ぎ続ける。（その後Mickeyはほうきを破壊しようとする。しかし、ほうきには設計によって組み込まれた、反省的に安定した停止ボタンがないため、自らを修復し、大釜へさらに水を注ぎ続ける下位エージェントを作り始める。）
Disneyのアニメはミュージカルなので、ほうきの仕事に時間制限が与えられたかは分からない。Mickeyが午後1時より前のどこかで仕事をするよう、ほうきに告げたと仮定しよう。
このとき、ほうきは結果oに対する効用関数U_{cauldron}を持つ、主観的な期待効用最大化器だと想像できる。
U_{cauldron}(o): \begin{cases}
1 & \text{if in $o$ the cauldron is $\geq 90\%$ full of water at 1pm} \\
0 & \text{otherwise}
\end{cases}
これは一見、タスク性を持つように見える。
- 大釜は空間的に有界である。
- 目標が関係するのは、ある時刻より前に起きる出来事だけである。
- 達成可能な最高効用は
1,であり、大釜が水で\geq 90\%満たされた時点で到達する。これは限られた量の努力で達成可能に思える。
特に最後の性質により、U_{cauldron}は「充足化効用関数」となる。結果は満足または不満足のどちらかであり、「満足」より良くすることはできない。
しかし以前の仮定により、ほうきはなお期待効用を最適化している。ほうきが、何らかの普遍事前分布を用い、妥当な汎用性を持って推論すると仮定する。すると、ほうきエージェントに大釜が満杯に見えるとき、それが満杯である主観確率は、正確に 1.にはならない。ほうきのカメラが故障しているか、RAMが故障して不正確な記憶を生じたかもしれない、とほうきエージェントは推論する。
するとほうきエージェントは、確率の増加がどれほど小さくても、さらに一杯のバケツの水を注ぐことで、大釜が満杯である確率をさらに高められると推論する。
すなわち、クロムウェルの規則によれば、バケツが満杯である主観確率が正確に1へ達することはない。すると、ますます選好され、ますます多くの努力を要する方策\pi_1, \pi_2, \pi_3 \ldotsの、次のような無限列が存在しうる。
\mathbb E [ U_{cauldron} | \pi_1] = 0.99\\
\mathbb E [ U_{cauldron} | \pi_2] = 0.999 \\
\mathbb E [ U_{cauldron} | \pi_3] = 0.999002 \\
\ldots
この場合、ほうきは行使できる最大限の努力に至るまで、さらに多くの努力を注ぐことで、期待効用を常に（たとえわずかでも）改善できる。ゆえに作業場が水浸しになる。
一方、ほうきが期待効用充足化器、すなわち方策が\mathbb E [ U_{cauldron} | \pi ] \geq 0.95,なら「受容可能」とするものなら、これはついにタスク性を持つ過程となる（と私たちは考える）。ほうきは、大釜を満たすことがそれなりに確実な何らかの方策を見つけ、その方策を実行した後、それ以上何もしないでいられる。
記述どおりのこのほうきには、まだ影響ペナルティも、穏健な最適化の機能もない。したがって作業場全体を水浸しにしても、ほうきは期待効用\geq 0.90を得ることができる。まだ過剰な努力を禁止していないからである。同じく、ほうきは午後1時以降に世界を破壊することもできる。まだ過剰な影響を禁止していないからである。
しかし「少なくとも95%の確率で、大釜を少なくとも90%まで満たす方策を実行せよ」という根底の規則には、分かる限りタスク性があるように見える。それ以外の点で優れた設計のエージェントが、有界な空間で、有界な時間にわたり、限られた量の努力を使って行動することで、この目標を達成可能な最大限まで実行することは可能に思える。エージェントが、自らの意思決定基準をよりよく満たすと評価し、順次ますます多くの努力を使う方策の列は、存在しないように見える。
この目標が正しく同定されたと仮定しても、その「タスク性」だけでほうきが完全にタスク性を持つAGIになるわけではない。AIのすべての下位過程も同じくタスク性を持つか、AI内のどこかに、記憶効率を「可能な限り」改善しようとする下位過程があるかも検討しなければならない。しかしそれは出発点となり、さらなる安全機能をより実現可能かつ有用にするだろう。
穏健な最適化も、AGIアラインメントにおける未解決問題として参照。