❦
目的が手段を正当化しないなら、何が正当化するのか？
私は自分を、敵対的なハードウェアの上で動いているものだと考えている。
人間には、政治革命の一つの型が進化によって備わったのかもしれない。腐敗した現体制より自分たちのほうが道徳的に優れていると信じるところから始まり、最後には自分たちも権力によって腐敗する、という型だ。それは本人の頭にある計画によるのではなく、かつて同じことをして子孫を残した祖先の残響による。
これは次の型に当てはまる。
場合によっては、人間は、社会のためになる理由YでXをしていると考えるよう進化している。だが実際にXをすると、別の適応が作動して、自分に有利な結果Zを促す。
この命題から、古典的なベイズ意思決定理論の領域をかなり離れた問いへ進もう。
自分が動いているハードウェアが、歪んでいたらどうする？
そんな場合には、次のように、一見逆説的で、古典的意思決定理論の観点からはまったくのナンセンスであることさえ、口にするかもしれない。
目的は手段を正当化しない。
だが、歪んだハードウェアの上で動いているなら、自分が権力を奪うことは正しく利他的な行為に思える、という内省的な観察——この思えるということ——は、権力を奪うのが実際に集団に最大の利益をもたらす行動である、という命題の、たいした証拠にはならないかもしれない。
素朴実在論の力によって、自分を動かす歪んだハードウェアと、それが計算する歪んだ見え方は、世界そのものの成り立ちのように——ただ『物事はそういうものだ』というように——思えてしまう。
こうして、一見奇妙な規則が生まれる。「集団のために、集団に差し引きで利益をもたらすとしても、不正をして権力を奪ってはいけない」
実際、こう表現するほうが賢明かもしれない。単に「集団に差し引きで利益をもたらすと思えるときでも」と言うと、こう言い出す人がいるからだ。「ただそう思えるだけじゃない。私が上に立てば、集団に差し引きで利益をもたらすんだ」
信頼できないハードウェアという概念は、古典的意思決定理論の領域から、まったくはみ出しているように思える。（内省的意思決定理論に何をもたらすかは、まだわからない。ただ、扱うにはその水準が適切だろう。）
だが人間の水準では、対策はわかりやすい。歪みがあるとわかったら、歪んだ行動を記述し、それを禁じる規則を作る。「集団のために、たとえ集団のためでも、不正をして権力を奪ってはいけない」という規則だ。あるいは、「集団のために、たとえ集団のためでも、殺人をしてはいけない」。
そこへ哲学者が来て、「思考実験」を提示する。設定上、罪のない5人の命を救うための可能な方法は、罪のない1人を殺すことだけであり、その殺人によって5人の命は確実に救われる、という状況を作るのだ。「列車が罪のない5人をひこうとしています。彼らに警告して線路から飛びのいてもらうことは、どうしてもできません。ですが、罪のない1人を列車の前に突き落とせば、列車を止められます。選択肢はこれだけです。どうしますか？」
ある種の義務論的な禁止を受け入れた利他的な人間は、この思考実験に出会って、心が苦しくなるかもしれない。その禁止は、信頼できないハードウェアの上で特定の仕方で推論した結果についての、いくつかの歴史的統計から、十分に正当化されるように思えるものだ。
そこで、その哲学者の設定への返答を一つ示そう。哲学者の犠牲者がこれを答えるのは、まだ聞いたことがない。
「あなたの設定では、罪のない5人を救える唯一の方法は、罪のない1人を殺すことであり、その殺人で5人は間違いなく救われる。そして私は、その事実を事実上確実に知っていることになっています。だが、私は歪んだハードウェアの上で動いているため、あなたが想像するよう求める認識状態にはなれません。そこでこう答えます。人格ある存在と呼ぶにふさわしく、権力によって腐敗する傾向を内蔵していない人工知能の社会なら、AIが5人を救うために罪のない1人を殺すのは正しく、仲間もみな同意するでしょう。ですが、この答えを自分にまで広げることは拒みます。あなたが想像するよう求める認識状態は、人間とは別の種類の人々の間にしか存在しえないからです」
さて、私にはこれは逃げ口上に思える。宇宙は十分に不親切なので、私たちがこうした状況を考慮せざるをえないのは、もっともなことだと思う。あの種の思考実験をあちこちで持ち出すような人は、あの種の答えを返されても仕方ないかもしれない。だが、人間の法制度はどれも、「犯人を捕まえるためなら、無実の人を何人まで刑務所に入れてよいか？」という問いへの何らかの答えを体現している。その人数が書かれていなくても、だ。
人間として私は、人間が互いに平和に暮らすために作ってきた義務論的な禁止に従おうとする。だが、その禁止が文字どおり、それ自体で、結果とは無関係に、究極的に正しいとは思わない。「目的は手段を正当化しない」を、歪んだハードウェアの上で動く人間を導く原則として支持する。だが、よく較正された見積もりを行うAIの社会に対する原則としては、支持しない。（人間社会の中にAIが1体いるのなら、別の考慮が入ってくる。たとえば、人間がその行動を手本として学ぶかどうか、といったことだ。）
だから、よく設計された友好的AIは、列車を止めるためにその1人を高所から突き落とすことを、必ず拒まなければならない、とは言わない。もちろん、まともな超知能なら、もっとよい第三の選択肢を見つけると期待する。だが選択肢が本当に二つだけで、友好的AIが、1人を突き落とすほうが賢明だと判断したなら——それを見て話を広める人間への波及効果などを考慮してもなお、そう判断したなら——AIが、5人を救うために1人を犠牲にするのが正しいと言ったとしても、それを危険信号とは呼ばない。繰り返すが、私自身は人を列車の前に突き落として回ったり、利他的な計画の資金にするため銀行から金を盗んだりはしない。私はたまたま人間なのだ。だが、友好的AIが権力で腐敗するのは、それが赤い血を流し始めるようなものだろう。権力で腐敗する傾向は、特定の認知回路に支えられた、特定の生物学的適応であり、明確な進化上の理由から、遺伝子によって私たちに組み込まれたものだ。友好的AIのコードにそれが自然に現れることは、そのトランジスターが血を流し始めるのと同じくらい、ありえない。
さらに踏み込もう。自分を利する行為が外に与える害を過大評価する歪みを内蔵した心があったなら、その心には「目的は手段を禁じない」という規則が必要になるだろう。集団を害するように（思えて）も、自分の利益になることをすべきだ、という規則だ。仮定上、その社会にこの規則がなければ、そこにいる心は、他人の酸素を使ってしまうのを恐れて呼吸を拒み、全員死んでしまう。そうした心にとって、たまに行きすぎて、社会に差し引きで損失を与えながら個人的な利益を得ることは、私たち人間が慎重になって、実際には商人の損失より自分の利益のほうが大きかったはずのパン一つを盗む機会を見送るのと同じくらい（波及効果も含めて）、慎重で徳あることに思えるだろう。そして実際に、同じくらい慎重で徳あることなのだ。
「目的は手段を正当化しない」は、一段メタの水準に上がった帰結主義的推論にすぎない。人間が対象水準で、目的は手段を正当化すると考え始めると、信頼できない脳を持つ私たちには、ひどい結果が生じる。だから、人間はそう考えるべきではない。だがそれも、突き詰めればすべて帰結主義だ。自分の一瞬一瞬の決断を、信頼できないハードウェアが下していると知っている存在のための、内省的な帰結主義なのである。