❦
擬人化の核心にある誤謬は、人間の脳とは因果構造があまりにも違い、そのように予想する根拠がまったくないものを、自分の脳というブラックボックスで予測できると期待することだ。
「群選択主義の悲劇」に登場した初期の、1966年以前の生物学者たちは、捕食動物は生息地で増えすぎ、獲物を枯渇させることを避けるため、自発的に繁殖を控えるだろうと信じていた。後にマイケル・J・ウェイドが、群選択の成立に必要な、ほとんどありえない条件を実験室で実際に作り出すと、成虫は卵や幼虫、とりわけ雌の幼虫を共食いするよう適応した。1
では、群選択主義者たちは、なぜその可能性を考えなかったのだろう。
自分が部族の一員で、近い将来、部族の資源が不足すると知っていたとしよう。解決策として、どの夫婦も子どもは一人までにし、一人目の後は避妊する、と提案するかもしれない。「各自できるだけ多くの子どもを作り、その後で互いの子ども、特に女の子を狩って共食いしよう」などという案は、可能性として思いつきさえしないだろう。
自分の目標に照らした、解決策の好ましさの順位を考えてみよう。できるだけ上位の解決策が欲しい。どうやって見つけるのか。もちろん、脳を使ってだ！ 脳を、上位の解決策を生み出す装置として考えよう。生まれつきの選好順位の上位に来る解決策を生み出す、探索過程である。
現実の問題の解決策の空間は、一般にかなり大きい。だからこそ、下位の解決策の大部分については、わざわざ形にすることさえしない、効率的な脳が必要なのだ。
部族が資源不足に直面しているなら、どこへ行くにも片脚で跳ねたり、自分の足の指をかみちぎったりしてみることもできる。調べればわかるとおり、そんな「解決策」は明らかに役に立たず、大きな代償が伴う。だが実際には、脳は効率がよすぎて、そんなまずい解決策を考えることに時間を使わない。そもそも生み出さないのだ。上位の解決策を探す脳は、「部族のみんなで集まり、資源不足が過ぎるまで、どの夫婦も子どもを一人までにしようと合意する」といった、解決策空間の一角へまっすぐ飛ぶ。
「全員ができるだけ子どもを作り、その後で女の子を共食いする」のような下位の解決策は、あなたの探索過程では生み出されない。
だが、選択肢が「上位」か「下位」かは、その選択肢に固有の性質ではない。好ましさを決める最適化過程の性質だ。そして、異なる最適化過程は、異なる順序で探索する。
進化にしてみれば、各個体が最大限に繁殖し、その後ほかの個体の娘を共食いするのは、考えるまでもないことだ。一方、集団の利益のために各個体が自ら繁殖を控えるのは、まったくばかげている。擬人化を避けて言い直すなら、前者の対立遺伝子の組は、集団内で後者を急速に置き換えるだろう。（ここで自然選択に明確な探索順序があるわけではない。この二つの選択肢は、突然変異としてはほぼ同じくらい単純に思える。）
生物学者の一人が、こう言ったとしよう。「捕食動物の集団に有限の資源しかないなら、進化は自発的に繁殖を控えるよう作り上げるだろう。私が捕食動物の製作を担当するなら、私ならそうする」。これは、推論の筋道がむき出しの、露骨な擬人化だ。私ならこうする。だから、進化もこうするはずだと推測する。
私の仕事では、この誤謬にむき出しの形で出会うこともある。だが、その人に「AIは必ずしもあなたと同じようには動かない」と言ったらどうだろう。この架空の生物学者に「進化はあなたと同じようには働かない」と言ったら、その人は何と答えるだろう。どんな返答が返ってこないかなら、私には言える。「なんと！ 気づいていませんでした！ 推論の一段階が無効でしたね。結論を捨てて、ゼロからやり直します」。
違う。代わりに返ってくるのは、なぜどんなAIもその話者と同じように推論しなければならないかという理由だ。あるいは、まったく異なる最適化基準に従い、まったく異なる最適化方法を用いる自然選択が、なぜ人間によい考えとして思い浮かぶのと同じことをするはずなのか、という理由だ。
こうして、個体が自発的に繁殖の機会を放棄する捕食動物の群れを、群選択は有利にする、という入り組んだ考えが生まれる。
群選択主義者の予測は、この誤謬を露骨に犯した人と同じくらい的外れだった。彼らの最終的な結論は、進化は必ず自分たちと同じように考えると、むき出しの形で仮定した場合と同じだった。だが、議論の結論そのものは消さず、最後の一行より上に書かれていたものを消して、新しい合理化を書き込んだ。これで誤った推論は姿を隠す。明らかに欠陥のある推論の一段階が隠されたのだ。結論はまったく同じままであり、したがって現実世界では、同じくらい間違ったままなのに。
だが、なぜ科学者がそんなことをするのか。結局、データは群選択主義者に不利な結果となり、彼らは恥をかいた。
「偽の最適化基準」で述べたように、私たち人間には、ほぼどんな最適化基準からも、自分たちの好む方針が導かれると論じる本能が進化してきたようだ。祖先の環境にも政治はあった。私たちは、憎いライバルのアグラクを処刑することは、自分自身の利益だけでなく、部族の利益のために必要だと、もっとも説得的に論じた者たちの子孫である。自分の明白な利益だけでなく、部族の道徳規範も自分の生存を求めているのだと、うまく論じられなかったアグラクの子孫ではないことは確かだ。
そして、本気で信じることのほうが説得的に論じられるため、他人の目標や部族の道徳規範は、本当に、その人たちの利益のために自分たちのやり方に従うべきだと意味しているのだと、本気で信じる本能が進化してきた。
だから群選択主義者は、捕食動物が繁殖を控えるという美しい情景を思い描き、自然選択自身の目的に照らしてさえ、自分たちのやり方を採るべき理由を、本能的に合理化した。繁殖を控えたキツネのほうが適応度は高くなる！ いや、本当だ！ 繁殖を控えないキツネより、さらに多く子孫を残すはずなのだ！ 本当に！
自分のやり方に従うよう自然選択を説得しようとすることの問題は、進化の中に、あなたの議論によって動かされるものがないことだ。進化はあなたと同じようには働かない。なぜ進化はあなたのやり方に従うべきなのかという、苦心した説明を聞いたり、気に留めたりする要素さえ、ない。人間の議論は、最適化過程としての自然選択の内部構造とは、そもそも共通の土俵にない。人間の政治では議論が因果的な役割を果たすが、対立遺伝子を増やす過程では、人間の議論は使われない。
だから群選択主義者は、自然選択に自分たちのやり方を採らせる説得に成功するどころか、現実が違う結果になったとき、ただ恥をかいただけだった。
ここには、非友好的AIについての、かなり重い含意がある。
だが、論点は一般化できる。これは楽観的な推論全般の問題だ。楽観とは何か。可能性を自分の選好順序で並べ、上位の結果を選び、どういうわけか、その結果が自分の予測になることだ。その途中でどんな複雑な合理化が作られたかは、期待するほどには重要ではないだろう。認知の履歴を見れば、楽観が入って、楽観が出てきただけだ。だが、自然や、ほかに今論じている過程は、あなたの選好順序で結果を並べて上位を選ぶという仕方で、実際に、因果的に結果を選んでいるわけではない。だから、脳は環境と足並みをそろえられず、予測は現実と一致しなくなる。
Wade, “Group selections among laboratory populations of Tribolium.” ↩︎