Yudkowsky Sequences 日本語訳
非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

道徳的であると感じること

Feeling Moral

病気、怪物、戦争、あるいは何かが、人々を殺しているとしよう。そして、次の二つの選択肢のうち一つだけを実行できる資源しかないとする。

  1. 確実に400人の命を救う。
  2. 90%の確率で500人の命を救い、10%の確率では誰も救えない。

たいていの人は選択肢1を選ぶ。これは愚かだと私は思う。500人の命に90%の確率を掛けると期待値は450人となり、選択肢1の400人という値を上回るからである。(救われる命の限界効用は逓減しないので、これは適切な計算である。)

あなたは憤慨して叫ぶ。「何だって! どうして人命を賭けに使えるんだ? これほど大切なものが懸かっているのに、どうして数字のことを考えられる? その10%が当たって、全員が死んだらどうする? 忌々しい論理もそれまでだ! 合理性に従って崖から落ちようとしている!」

ああ、だがここに面白い点がある。選択肢を次のように提示するとしよう。

  1. 確実に100人が死ぬ。
  2. 90%の確率で誰も死なず、10%の確率で500人が死ぬ。

すると、過半数が選択肢2を選ぶ。同じ賭けであるにもかかわらず。400人の命を救える確実性が、不確実な利得よりはるかに心地よく感じられるのと同じく、確実な損失は不確実な損失より悪く感じられるのである。

二番目の記述を使っても、大見得を切れる。「救える可能性がこれほど高いのに、どうして100人を確実な死に追いやれる? 皆でリスクを分かち合おう! 全員を救える確率が75%しかなくても、それでもやる価値がある――可能性があるかぎり――助かるなら全員、さもなければ誰も助からない!」

いいだろうか? これはあなたの感情の話ではない。何十年にもわたる喜びと苦しみのすべてを足し合わせた一人の人間の命は、計画について脳が抱く快・不快の感情より、はるかに価値がある。期待効用の計算は、あなたの好みには冷酷すぎると感じるだろうか? だが、命が懸かっているとき、その感情には天秤に載せる羽一枚ほどの重みすらない。黙って掛け算せよ。

グーゴルは10100――1の後にゼロが100個続く数である。グーゴルプレックスは、さらに理解しがたいほど大きな数で、10グーゴル、つまり1の後にグーゴル個のゼロが続く。さて、しゃっくりのような些細な不便と、サディスティックな突然変異サメにゆっくり手足を引き裂かれるような、明らかに些細ではない不幸を選ぼう。グーゴルプレックス人のしゃっくりを防ぐことと、一人のサメ襲撃を防ぐことの二者択一を迫られたら、どちらを選ぶべきだろうか? しゃっくりに少しでも負の価値を割り当てるなら、意思決定理論上の不整合を避けるためには、サメ襲撃の負の価値に匹敵するまで足し合わさるしゃっくりの数が、どこかになければならない。有限である特定の悪には、それをさらに上回るほど悪いしゃっくりの何らかの数が必ず存在する。

このような道徳的ジレンマは、分析哲学者を夕食会で楽しませるための概念的な流血競技ではない。これは、私たちが毎日実際に置かれている状況を蒸留したものである。ゲーム機用ソフトに50ドル使うべきか、それとも全額を慈善団体へ寄付すべきか? 一人の骨髄移植費を払うため70万ドルの募金活動を組織すべきか、それとも同じ金を蚊帳に使い、約200人の子供がマラリアで死ぬのを防ぐべきか?

それでも、現実世界にあふれる不快な道徳的トレードオフから目をそらす人は多い――目をそらすことを誇りにする人もまた多い。研究によると、人々は人命のような「聖なる価値」と、お金のような「聖ならざる価値」を区別する。聖なる価値と聖ならざる価値を比較して取引しようとすると、被験者は強い憤りを示す。(提案した者を罰したがる場合もある。)

この種の話で私が一番好きな逸話は、ある事業の有効性を評価し、救われる命一人あたりの費用を計算して、費用対効果に優れるから実施すべきだと政府に勧告した研究チームの話である。政府機関は、人命にドルの値段をつけることはできないと言って、その報告書を却下した。報告書を却下した後、その機関はその施策を実施しないと決めた。

聖なる価値と聖ならざる価値を比較して取引するのは、本当にひどい気分がする。単に効用を掛け算するのは冷酷すぎる――合理性に従って崖から落ちることになる……

だが利他主義とは、利他的であることから得る温かな満足感ではない。精神的な恩恵のために行うなら、それはただの利己主義である。第一の目的は、手段が何であれ、他者を助けることだ。だから黙って掛け算せよ!

そして、この最大化に、法の抜き身の剣や、太陽の灼熱のような激しさがあるように思えるなら――この合理性の中心に、小さく冷たい炎があるように思えるなら――

まあ、もう一方の道のほうが、自分の内では心地よく感じるかもしれない。だが、それではうまくいかない。

そして私は、あなたにこうも言おう。得られたはずの精神的満足のすべてを惜しむ気持ちを捨て――自分が損をしているとは考えず、心の底から「道」を追求し――何も惜しまず合理性へ身を委ねるなら、合理性もあなたに何かを返してくれると分かるだろう。

ただし、その部分が働くのは、「もっと非合理的になれさえすれば、自分の内では心地よく感じられるのに」と自分へ言い続けない場合だけである。実際に人々を助ける機会があることを悲しむべきだろうか? 自らの贈り物を重荷と見なすなら、潜在能力を完全に発揮することはできない。