「イチゴを一つ渡せ。ただし、偽物のプラスチック製イチゴはだめだ」といった 意図された目標の 概念を、AGIへどう伝えるかを解明しようとする問題である。
この水準の問題では、たとえばイチゴを得るために人を襲わないことなど、より大きな 安全な計画の同定の問題や、 副作用の最小化は扱わない。(この水準の問題では、)因果グラフ上でより遠くにある副作用によって影響されうる 人間の価値を構成する一つ残らずすべての要素を同定することも扱わない。 哲学的不確実性、すなわち「イチゴ」によって何を 意味すべきかについても扱わない。私たちは、「イチゴ」で何を 意図するかについて、直観的な意味ではかなりよくわかっていると仮定する。明らかにイチゴである物が存在し、誰かが故意にその感覚を欺こうとしない限り、私たちはその判断にかなり満足している、という程度である。
私たちが伝えたいのは、食べられるイチゴをプラスチック製イチゴから、あるいは毒のないイチゴを毒入りイチゴから区別する、 局所的な目標概念だけである。つまり、「サリーにイチゴを一つ渡すだけ」という タスクの遂行に適する理解可能な形で、「イチゴ」と言いたいのである。これは場合によって、 保守性、 低インパクト、または 穏健な最適化など、ほかの特徴と組み合わせてもよい。
AIのWebカメラに本物のイチゴを見せるという自明な方法に残る未解決の部分問題については、「感覚データから因果的な目標概念を同定する」および「私の指ではなく、指している先を見よ」を参照。