非人格述語

「非人格述語」とは、 高度なAI が 誤って知性ある計算を実行する ことを防ぐために考えられる方法である（AIが内部で多数の知性あるプログラムを作成・実行し、その後破棄するなら、道徳上きわめて巨大な惨事となりうる）。非人格述語は、実行しうる計算を調べ、「不明」と「確実に人格ではない」という二つの答えのどちらかを返す。成功した非人格述語は、実際には人格ではない計算に対して（非常に頻繁に）「不明」を返してもよいが、 人格である ものに「確実に人格ではない」と返すことは決してない。言い換えれば、この問題を解くうえで必要なのは、意識が何 である かを知ることよりも、何 でない かを知ることである。何が人格 である かを確定する必要はなく、何が人格 でない かを確定する必要がある。しかし、非人格述語が有用であるためには、機能する有能なAIを構築できるだけの有用な計算を通過させなければならない。（そうでなければ、「岩石はよいが、それ以外はすべて人格かもしれない」で十分な非人格述語となってしまう。）非人格述語について 予見可能な難点 は、人間を正確にモデル化しようとする 道具的圧力 が、試みられた述語の 欠陥や抜け穴を探し出そうとする 傾向を持ちうることである。詳しくは マインドクライム のページを参照されたい。