善さが単純に感じられるため価値の複雑さを過小評価すること

人々が 価値の複雑性 を体系的に過小評価しがちな理由の一つとして、方策や目標の実現形態の「善さ」が、単純で直接的な性質のように 感じられる ことが考えられる。すなわち、脳は善さの水準を計算し、それを比較的単純な量として私たちに利用可能にする。そのため私たちには、次のことが単純な事実のように 感じられる 。宇宙を、単純に表現できる最大水準の「快楽」を経験する小さなエージェントで埋め尽くすことは、幸福の 悪い 形態であるように思える。また、AIに「私に与えるのは価値の高い幸福にしろ、こんな 奇妙で価値の低い 幸福ではない！」と怒鳴れば済むようにも思える。あるいは、たとえばAIが赤い物体と青い物体の違いのような他の単純な境界を学べるほど賢いなら、少数の例から、AIに作らせたいのは 高価値のXであって 低価値のXではないと学習させられるように思える。しかし実際には、「良いX」と「悪いX」の境界には 価値判断が織り込まれて おり、はるかに入り組んでいて、線引きにははるかに多くの例が必要となる。脳が一見単純で知覚的に利用可能な一次元量として計算するものは、方策や結果の空間における単純で学びやすい勾配に必ずしも対応しない。これは、すぐに利用できそうに見える 有益性という性質について特に当てはまる。