「危険な自己満足の谷」とは、システムが十分頻繁に機能するため、その周囲で警戒を緩めるようになるものの、実際にはなお、全面的な警戒が必要なほど危険である状態をいう。
- ロボット自動車が99%の確率で正しい判断をするなら、毎日のようにハンドルを奪う必要があるため、警戒を保ち、ロボット自動車に介入する技能も鋭いまま保たれる。
- ロボット自動車が100%の確率で正しい判断をするなら、安心して警戒を緩めるだろうが、それには何の問題もない。
- ロボット自動車が99.99%の確率で正しい判断をし、100日に1度はハンドルを奪わなければ衝突するのだとすれば、自動車を監視する作業はまるで報われないように感じられ、自動車はかなり安全に見えるだろう。やがて警戒を緩め、運転技能も鈍っていく。そして数か月後、自動車は衝突する。
「不気味の谷」と比較されたい。不気味の谷は、機械システムが部分的に人間らしく、すなわち人間が人間の基準を当てはめようとする程度には人間らしいものの、その基準に照らして実際に満足できるほどには人間らしくない場合に生じる。これはユーザー体験の観点では、システムの人間らしさが増すにつれて、改善する前にかえってユーザー体験が悪化する谷があることを意味する。同様に、ユーザーが慢心するなら、99.99%信頼できるシステムは99%信頼できるものより悪くなりうる。ただし、 十分な 信頼性に達すれば、安全度は谷を再び登り始める。