❦
私は、自分が選んだ場所で、現在の精神状態を含む現在の身体の、身体的に健康で、負傷しておらず、外見上正常な版に入って生きたい。その身体は、利用できる医療技術のもとで平均より3シグマ速い速度であらゆる負傷から治癒し、連続十日間または一年に十五日間を超えて、障害、痛み、機能低下を、感覚、器官、身体機能のいずれかに引き起こす、あらゆる病気、負傷、疾患から守られる……。
精霊には三種類ある。「私が願うべきことをしてほしい」と安全に言える精霊。どんな願いも安全でない精霊。そしてあまり強力でも知的でもない精霊である。
年老いた母親が燃える建物に閉じ込められ、たまたまあなたは車椅子に乗っていて、自分では駆け込めないとしよう。「母をあの建物から出してくれ！」と叫ぶことはできるが、聞く者はいない。
幸運にも、ポケットには「結果ポンプ」が入っている。この便利な装置は時間の流れを絞り、ある結果へ確率を注ぎ込み、別の結果から確率を抜き取る。
結果ポンプに知覚はない。内部には小さなタイムマシンがあり、指定された結果が起こらない限り、時間をリセットする。たとえば、結果ポンプのセンサーを硬貨につなぎ、硬貨の表が出るまでタイムマシンがリセットを続けるよう指定してから、実際に硬貨を投げれば、あなたには硬貨の表が出るのが見える。（物理学者によれば、「リセット」が起こる未来はすべて無矛盾でなく、したがって最初から決して起きない――つまり、自分の別の版を実際に殺しているわけではない。）
結果ポンプへどうにか入力できた命題は、物理法則に違反しない方法で、何であれどういうわけか起こる。あまりに起こりそうにない命題を入力しようとすれば、その結果が起こるより前に、タイムマシンが自然発生的な機械故障を起こす。
「未来関数」を使い、異なる結果について時間的リセット確率を拡大縮小することで、確率の流れをもっと定量的な方法で方向づけることもできる。硬貨の表が出たときの時間的リセット確率が99%、裏が出たときに1%なら、オッズは1対1から、裏に有利な99対1へ変わる。金を吐き出す謎の機械があり、吐き出す金額を最大化したいなら、金額が増えるにつれて低下するリセット確率を使う。たとえば、10ドルを吐き出す場合は99.999999%のリセット確率、100ドルを吐き出す場合は99.99999%のリセット確率になる。このようにすれば、到達可能な最善の最大値を知らなくても、未来関数上で可能な限り高くなりがちな結果を得られる。
そこで、必死に結果ポンプをポケットから引っ張り出し――母親は今も燃える建物に閉じ込められていることを忘れずに――目標を記述しようとする。母親を建物から出す！
ユーザーインターフェースは英語入力を受けつけない。結果ポンプには知覚がないことを思い出してほしい。だが近隣用の3Dスキャナーと、パターンマッチ用の組み込み機能はある。そこで母親の頭と肩が写った写真を掲げ、写真へマッチさせ、物体の連続性を使って母親の全身（頭と肩だけではなく）を選択し、母親と建物中心との距離を使って未来関数を定義する。建物中心から遠ざかるほど、タイムマシンのリセット確率が低くなる。幸運を祈って「母を建物から出してくれ！」と叫び、Enterを押す。
一瞬、何も起こらないように見える。消防車が乗りつけ、救助隊員が到着するのを――あるいは単に、強く足の速い走者が、母親を建物から運び出すのを――待ちながら、周りを見渡す。
ドカン！轟音とともに、建物の下にあるガス本管が爆発する。まるでスローモーションのように建物がばらばらになるなか、粉砕された母親の身体が高く空中へ投げ出され、高速で移動し、かつて建物の中心だった場所からの距離を急速に伸ばすのが見える。
結果ポンプの側面には「緊急後悔ボタン」がある。すべての未来関数では、「後悔ボタン」が押されることに、ほぼ1の時間的リセット確率という巨大な負の値が自動的に定義される。そのため、結果ポンプが、利用者を「後悔ボタン」を押すほど動揺させる何かを行う見込みはきわめて小さい。それを押した記憶は一度もない。だが「後悔ボタン」へ手を伸ばしかけたところで（今さら何の役に立つ？）、炎に包まれた木の梁が空から落ち、あなたを平らに押し潰す。
それは本当に望んだことではなかったが、定義された未来関数では非常に高い点数を取る……。
結果ポンプは第二種の精霊である。どんな願いも安全ではない。
誰かから、かわいそうな年老いた母親を燃える建物から出してほしいと頼まれれば、助けるかもしれないし、聞こえないふりをするかもしれない。だが建物を爆破することは、思いつきさえしないだろう。「母を建物から出してくれ」という願いは、実際よりはるかに安全に聞こえる。極端な負の価値を割り当てる計画を、そもそも考慮さえしないからである。
集団選択主義の悲劇をもう一度考えてみよう。一部の初期の生物学者は、小さな亜集団サイズを求める集団選択によって、個体が繁殖を自制するようになると主張した。しかし研究室で実際に集団選択を強制すると、共食い、とりわけ未成熟な雌を食べることが生じた。小さな亜集団サイズを求める強い選択のもとでは、共食いする個体が、繁殖機会を自発的に諦める個体より多く繁殖することは、後知恵では明白である。だが少女を食べることは、あまりに美的でない解決策なので、Wynne-Edwards、Allee、Breretonら集団選択主義者には、単に思いつかなかった。自分自身が使うであろう解決策しか見えなかったのだ。
結果ポンプは建物を爆破してはならないと指定して、未来関数へ継ぎを当てようとするとしよう。建材があまりに大きな体積へ分散する結果には、約1の時間的リセット確率を与える。
すると母親は二階の窓から落ち、首を折る。結果ポンプは、やはり母親が建物外に出ることで終わる別の時間経路を取った。それでもあなたが望んだことではなく、それでも人間の救助者には思いつかない解決策だった。
「オープンソース願いプロジェクト」が、「母親を燃える建物から出す願い」を開発してくれてさえいれば、
私は、母親（私と遺伝子の半分を共有し、私を出産した女性と定義する）を、現在私に最も近い、火事になっている建物の境界外へ移動させたい。ただし建物を爆破せず、壁を崩して建物が境界を失うようにもせず、建物が焼け落ちるまで待ってから救助隊員が遺体を運び出すこともなく……。
これらの特殊事例、一見すると無制限に必要となる継ぎ当ては、人工加算の寓話を思い出させるはずだ――「十五足す十五は三十だが、十五足す十六は代わりに三十一である」といった主張をますます多く明示的に追加して、「算術エキスパートシステム」をプログラムする寓話である。
あなたは、建物が爆発し、母親を空へ投げ出す結果を、どうやって除外するのか？ 先を見通し、母親が死ぬことになると予見し、その帰結を望まないので、そこへつながる出来事を禁じようとする。
あなたの脳には、「母親のいる燃える建物を爆破するのは悪い考えだ」という具体的な言明が、あらかじめ記録され、組み込まれているわけではない。それでも結果ポンプの未来関数には、まさにその具体的な言明を事前記録しようとしている。そこで願いは爆発的に膨張し、時間を通る可能な経路すべてへの判断を記録する巨大なルックアップテーブルへ変わる。
あなたは、本当に望んでいたことを願えなかった。母親に生き続けてほしいと望んでいたのに、母親と建物中心との距離が大きくなることを願った。
ただし、望んだことはそれだけではない。母親が建物から救助されても、ひどい火傷を負ったなら、その結果は、無傷で安全に救助された結果より選好順序が低いだろう。だから母親の命だけでなく、健康にも価値を置く。
しかも身体的健康だけでなく、心の状態にも価値を置く。彼女にトラウマを与える方法で救助されること――たとえば、巨大な紫色の怪物がどこからともなく咆哮しながら現れ、母親をわしづかみにすること――は、消防士が現れ、燃えていない経路から外へ付き添うことより劣る。（そう、物理法則に従うはずだが、十分に強力な結果ポンプなら、まさにその瞬間、偶然近所に異星人を出現させるかもしれない。）それでも、母親が生きたまま焼かれるより、怪物に救助されるほうを間違いなく選ぶだろう。
ワームホールが自然発生的に開き、母親をのみ込んで無人島へ運ぶのはどうか？ 死ぬよりはよい。だが生き、元気で、健康で、トラウマもなく、あなたやほかの社会的ネットワークの成員と継続的に接触できるよりは悪い。
飼い犬が消防士へ知らせに走ったものの車にひかれた場合、犬の命を代償として母親の命を救うのは許されるだろうか？ 明らかにそうだが、ほかの条件が等しければ犬を殺さないほうがよい。母親の命と人間一人の命を交換したくはないだろうが、有罪判決を受けた殺人犯の命ならどうか？ その殺人犯が善意から彼女を救おうとして死ぬなら、違いはあるか？ 殺人犯二人なら？ 母親の命の代償が、記憶を含む、BachのLittle Fugue in G Minorの現存するあらゆる複製の破壊なら、それだけの価値はあるか？ 母親が終末期疾患を患い、どのみち十八か月で死ぬなら？
燃える梁に母親の足が押し潰されたなら、残りの部分を救出する価値はあるか？ 頭が押し潰され、身体だけが残ったなら？ 身体が押し潰され、頭だけが残ったなら？ 外には人体冷凍保存チームが待機し、頭部を凍結保存する準備ができているなら？ 凍結した頭は人間か？ Terry Schiavoは人間か？ チンパンジーにはどれほどの価値があるか？
あなたの脳は無限に複雑ではない。あなたが下す判断すべてを記述するのに十分なKolmogorov複雑性／メッセージ長は有限である。だが、複雑性が有限であるからといって、小さいことにはならない。私たちは多くのものに価値を置く。そして、いや、それらは還元できない。幸福に価値を置くことにも、繁殖適応度に価値を置くことにも。
人間の道徳全体より小さくて安全な願いはない。時間を通る可能な経路が多すぎる。精霊に与えた目的地へ至る道路すべてを可視化することはできない。「母親と建物中心との距離を最大化すること」は、核兵器を爆発させればさらに効果的に実現できる。あるいは、もっと強力な精霊なら、母親の身体を太陽系外へ投げ出す。もっと知的な精霊なら、チンパンジーが核兵器の爆発を思いつかないのと同じく、あなたにも私にも思いつかない何かをする。可能な盤面すべてについて手をハードコードしてチェス機械をプログラムできないのと同じく、時間を通る経路すべてを可視化することはできない。
そして現実生活は、チェスよりはるかに複雑である。精霊が取る時間経路を判断するため、自分の価値のどれが必要になるかを事前に予測することはできない。とりわけ、燃える建物から母親を救うことより長期的、または広範囲な何かを願うならそうである。
「オープンソース願いプロジェクト」は、精霊問題についてどう考えてはならないかの例証として以外、無駄なのではないかと恐れる。安全な精霊は、あなたの判断基準をすべて共有する精霊だけであり、その時点では、単に「私が願うべきことをしてほしい」と言える。これは単に、精霊のすべき関数を実行する。
実のところ、何も言う必要はないはずだ。願いを安全に叶えるものとなるため、精霊は、あなたがその願いを持つに至ったのと同じ価値を共有しなければならない。さもなければ、精霊はあなたが思い描いた目的地へ至る時間経路を選ばないかもしれず、そもそも計画として考慮さえしないほど恐ろしい副作用を除外できないかもしれない。願いは、道徳全体という巨大だが有限の構造から派生した漏れのある一般化である。この構造全体を含めることによってしか、すべての漏れを塞げない。
安全な精霊がいれば、願うことは余計である。ただ精霊を動かせばよい。