非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

同情する心

Sympathetic Minds

❦

「ミラーニューロン」とは、ある行動をするときにも、同じ行動を見るときにも活動するニューロンのことだ。たとえば、自分が指を立てたときも、他人が指を立てるのを見たときも発火するニューロンである。霊長類では、そのようなニューロンが直接記録されており、人間についても、それと整合する脳画像の証拠が見つかっている。

私が以前「共感的な推論」について書いたときの考えを、覚えているかもしれない。脳はあまりに複雑なので、模擬するには、似た脳に似た振る舞いをさせるしかない、という考えだ。もし人間が、重力や車を理解するように、全体を観察し、部分を観察し、理論をゼロから作って脳を理解しようとしたら、脳はあまりに複雑で、限りある一生の間にはよい仮説を考え出すことすらできないだろう。他者の心のように途方もなく複雑な系について、それを言い当てる「ああ、そうか!」に至れる唯一の方法は、他者の心に驚くほどよく似たもの、すなわち自分の脳に出会うことだ。その脳を実際に似たように振る舞わせ、予測を生む仮説として使えるのである。

これが、私が「共感(empathy)」と呼ぶものだ。

一方、「同情(sympathy)」には、その上に別のものが加わる。他人がほほえむのを見てほほえみ、他人が痛むのを見て痛むことだ。予測の領域を越え、強化の領域へ入る。

ここであなたは問う。「無情な自然選択が、なぜそんなに親切なことをするのか?」

始まりは、母親の子供への愛や、兄弟姉妹への愛だったのかもしれない。生きていてほしい、食べ物を得てほしい、と望むことはもちろんできる。だが、相手が笑えば自分も笑い、相手が痛みに顔をしかめれば自分もしかめるなら、その単純な衝動は、人生のさまざまな場面で幅広い助けを与えるよう導く。祖先の環境にいる限り、親族が望むことは、おそらく親族の繁殖成功度と何かしら関係している。もちろん、これは選択圧の説明であって、意識的な信念ではない。

「では、相手の感情を自分も実際に感じずに、『親族』と印づけられた人が望みをかなえるのを見たいという、もっと抽象的な欲求を進化させればよいのでは?」と問うかもしれない。私は肩をすくめて、こう答えるだろう。「それだと『望む』とは何かなど、丸ごとの定義が必要になるからだ。進化は、精巧で正しく最適な道を取るのではない。水が坂を下るように、適応度地形を上へ転がっていく。鏡映の仕組みはすでにあったので、共感から同情へは短い一歩で済み、それで役目を果たせたのだ」。

親族、そして互恵性へ。部族の中の味方、互いに恩をやりとりする相手だ。しっぺ返し戦略、あるいは社会的な評判も考慮するよう進化がそれを精巧にしたもの。

人間の中で最も手ごわいのは誰か。最も強い人か。最も頭のよい人か。そのどちらよりも、多くの場合は、いちばん多くの友人に助けを求められる人だと思う。

では、どうすれば友人をたくさん作れるだろう。

吸血コウモリのように、味方に食料を持っていく特定の衝動を持つこともできるかもしれない。あの集団には、互いに血を分け与える仕組みがある。だが、友人と認めた相手が笑ったとき自分も笑うなら、もっと一般的な動機となり、その生物はより多くの恩を蓄えるようになる。

そして、どんな場面でも友人を怒らせないようにするのは、どんな生物か。友人が痛みに顔をしかめると、自分も顔をしかめる生物だ。

もちろん、敵と認めた者は、良心の呵責なく殺せるようにもしておきたい。私たちが話しているのは、人間なのだから。

だが……確信はないものの、人間の同情は、初期状態では「オン」になっているように私には見える。見知らぬ人を助ける文化もあれば、見知らぬ人を食べる文化もある。問題は、どちらに明示的な命令が必要で、どちらが人間の標準的な振る舞いなのかだ。人類学の知識が限られていることは認めるが、それに基づいて、同情は標準でオンになっているようだと言うのは、それほど愚かな理想主義者のたわごとだとは、本当に思わない。

どちらにせよ……二つの陣営が戦争しているのを外から見ていて、自分の同情がどちらの側に対してもオフになっていないと、つらい。死んだ子供を見れば、写真の説明が何であろうと顔をしかめる。それなのに、その二つの側は互いに同情せず、殺し続けるのだ。

これが、人間流の同情だ。互恵性と援助を実現する、奇妙で、複雑で、深い仕組みである。心と心を絡み合わせる。他者の「欲求」を効用関数の項に入れるのではなく、もっと単純で、しかもはるかに大きな帰結を持つミラーニューロンという道を通じて。他者が感じることを感じ、同じような状態を求めるのだ。まだ神経情報を直接送り合うのではなく、観察と推論だけで行っているとしても。

共感は、他者の心を予測する人間の方法だ。可能な唯一の方法ではない。

人間の脳の配線は、すぐには組み替えられない。突然暗い部屋に入れられても、音をもっとよく処理するために視覚野を聴覚野へ組み替え、部屋を出た途端、ニューロンをすべて視覚野へ戻すことはできない。

少なくとも現在のプログラミングの仕組みに似たものの上で動くAIなら、計算資源をあるスレッドから別のスレッドへ移すのは簡単だ。暗いところに入れられた? 視覚を止め、その処理をすべて音に振り向ければいい。古いプログラムをディスクへ退避してRAMを空け、明かりがついたら、ディスクからまた読み戻す。

ならば、AIが、予測したいものと似た状態へ自分自身の心を無理に持っていく必要が、なぜあるのか。別の心のインスタンスを作ればよい。あまり似ていない人間をうまく模擬できるよう、異なるアルゴリズムを使ってもよい。データを自分の心の状態に混ぜ込もうとしないことだ。ミラーニューロンを使わないことだ。そんなことをしたら、どれほどの危険と混乱を招くか考えてほしい!

期待効用の最大化主体には、とりわけ知性を抽象的な水準で理解しているものには、他者の心を理解する際に、共感以外の選択肢がある。その行為者は、自分を誰かの立場に置く必要がない。他者の心を直接モデル化すればよい。他の仮説と同じ仮説で、少し大きいだけだ。靴を理解するのに、靴になる必要はない。

では同情は? ペーパークリップの数の期待値を最大化する主体を考えよう。ただしまだ、何でも思いどおりにできるほど強くなく、ペーパークリップを得るには人間と付き合わなければならない。すると、そのペーパークリップ主体は……環境の関連部分として人間をモデル化し、さまざまな刺激に人間がどう反応しそうかをモデル化して、将来、人間が自分に好意を抱くような行動を取る。

ペーパークリップ最大化主体にとって、人間は押せるボタンのついた機械にすぎない。相手の感じることを感じる必要はない。内部の仕組みがこれほど隔たっていて、そんなことが可能だとしても、だ。ペーパークリップの期待数を最大化する主体は、人間の笑顔を見てどうして「幸せを感じる」だろう。「幸せ」は、行動方策を強化学習する仕組みのものであって、期待効用の最大化のものではない。ペーパークリップ最大化主体は、ペーパークリップを作っても幸せを感じない。ペーパークリップの期待数が最も多くなる行動を選ぶだけだ。もっとも、ペーパークリップを作ったときに笑顔を見せると、自分を友人と認めた人間を操るのに便利だと判断することはあるだろう。

こんなアルゴリズムを想像するのは、少し難しいかもしれない。自分とは違う仕方で働き、自分の脳がどんな動作モードになっても同じには働かないものの立場に、自分を置くのだから。

敵を憎むモードに脳を動かすことはできる。だがそれも違う。本当に同情しない心が人間をどう見るか想像するには、自分を、レバーのついた役立つ機械だと思えばよい。人の形の機械ではない。それに対しては私たちの本能が働くからだ。木材用ののこぎりか、何かそんなものだ。あるレバーを引くとコインが出てきて、別のレバーでは弾丸を発射するかもしれない。機械には持続する内部状態があり、レバーは正しい順序で引く必要がある。ともあれ、それは複雑な因果系にすぎず、そこに本質的に心的なものは何もない。

(同情しない最適化過程を理解するには、自然選択を学ぶことを勧めたい。致命傷を負って死にかけた生物の痛みが、もう繁殖の何の役にも立たなくても、自然選択はわざわざ麻酔を施さない。麻酔も繁殖の役に立たないからだ。)

だから私は、少しでも、言い方を許してもらえるなら、心を通わせられる異星人に必要なものの一覧で、「同情」を「退屈」よりも前に挙げている。進化した知的な異星種全体の、無視できない割合に同情があることは、不可能ではない。ミラーニューロンは、一度生じたなら再び生じてもおかしくない種類のものに見える。

同情しない異星人も交易相手にはなりうる。ならないかもしれないが。恒星やその種の資源は、宇宙のどこでも大体同じだからだ。条約を結べるかもしれないし、相手も報復への計算された恐れから守るかもしれない。囚人のジレンマで協力することさえあるかもしれない。だが友人には決してなれない。相手は私たちを、目的のための手段としか見ない。私たちのために涙を流したり、私たちの喜びにほほえんだりはしない。同種の仲間も、別の扱いは受けない。それによって何か大切なものを失っているという感覚もない。

そうした異星人はヴァレルセであって、ラーメンではない。個人的な水準ではまったく心を通わせられず、そうしようとしても無駄な種類の異星人なのだ。