意図された目標

定義。「意図された目標」とは、人間のプログラマーがAIの内部で何らかの形式的な指令または目標を実行したとき、その人の心にあった直観的な意図を指す。たとえば、プログラマーは価値ある幸福を生み出したいのに、AIが宇宙を微小な分子製スマイリーフェイスで埋め尽くしてしまったとする。この場合、（プログラマーの心の中にある、直観的で、言語化以前のものかもしれない意味での）価値ある幸福が「意図された目標」であった、と私たちは言うだろう。これは、AIに実際に符号化された形式的効用関数の帰結（その最大値が微小な分子製スマイリーフェイスにあると判明したもの）とは区別される。