AIにイチゴに関わる目標を実行させたいので、その結果として、 同定 して伝えたいのは、 概念 としての「イチゴ」である。その方法の候補の一つは、教師がイチゴまたは非イチゴに分類する物体をAIへ見せることである。しかし、その過程でAIが実際に見るのは、たとえばWebカメラ上のピクセルパターンであり、現実の物理的なイチゴはAIの知能へ直接アクセスできない。AIへイチゴを見せるとき、本当に伝えようとしているのは、「この感覚データのある近位の 原因 がイチゴである」であり、「この感覚ピクセルの配列がイチゴである」ではない。後者の概念を学習したAIは、Webカメラの前へ写真を置くことで目標を実行しようとするかもしれない。前者のAIは、実際に環境中の何かに関わる目標を持つ。
「感覚データから因果的な目標概念を同定する」または「感覚データから環境概念を同定する」という未解決問題は、AIに 因果的な 目標概念を、 感覚的な 目標概念の代わりに形成させることに関する。高度なエージェントがあるピクセル領域を見るよう手配したという事実だけで満たせる 人間が意図した目標 はほとんどないので、十分に高度な目標ベースのエージェントへ目標を安全に同定する方法は、おそらく感覚データの 原因 の中で目標を同定する何らかの方法を含む。
この未解決問題の「玩具」版(それでもかなり難しい)は、次の機械アルゴリズムを示すことかもしれない。(a)環境の因果モデルを持つ、(b)感覚データを含む因果モデルのどの水準でも概念を学習できる、(c)目標概念を学び追求できる、(d)自身の感覚を欺く、または偽物の物体を作る潜在能力がある、(e)感覚データについての目標でなく、近位の因果的目標を学習する。最後の点は、自身を欺ける選択肢があっても、その目標の因果的な版だけを追求することによって示される。
この未解決問題のさらに詳しい版は、「私の指ではなく、指している先を見よ」を参照。