❦
この誤謬の名は、大昔のSFテレビ番組に由来する。自分で見たわけではないが、信頼できる情報源――SF大会にいたどこかの男――から聞いた。正確な出典を知っている人は、コメントしてほしい。
さて、善玉たちは邪悪な異星人と戦っている。ときどき、小惑星帯を飛び抜けなければならない。みな知るとおり、小惑星帯はニューヨークの駐車場のように混み合っているので、宇宙船は慎重に小惑星を避ける必要がある。ところが邪悪な異星人は、船を非物質化する驚異の技術を持ち、小惑星をすり抜けられるので、まっすぐ小惑星帯を通り抜けることができる。
やがて善玉たちは異星人の船を捕獲し、内部を探検する。善玉の船長が異星人の船橋を見つけると、そこにレバーがある。「なるほど」と船長は言う。「これが船を非物質化するレバーに違いない！」そこで操作レバーをこじって外し、自分の船へ持ち帰る。すると、その船も非物質化できるようになる。
同じように、次のような「意味ネットワーク」でAIをプログラムしようとすることは、今もかなり人気がある。
(apple is-a fruit)
(fruit is-a food)
(fruit is-a plant) .
あなたはリンゴを見て、触れ、拾い上げて持ち、お金で買い、切り分け、その切片を食べて味わってきた。視覚処理の初期段階についてはかなりわかっているが、私が最後に確認した限り、側頭皮質がリンゴの一般化されたイメージをどう保存し、結びつけるかは、正確にはわかっていなかった。それによって、違う角度から見たり、形、色、質感が少しずつ違ったりする新しいリンゴでも認識できるのだが。運動皮質と小脳には、リンゴを扱うためのプログラムが蓄えられている。
ウェブページに「apple」と、ASCII文字を五つ書くだけで、他人の中にある、自分と非常によく似たこの複雑な機構のレバーを引くことができる。
だが、その機構がなければ――いわゆるAIの、いわゆる知識ベースの中に「apple」と書いているだけなら――その文字列は、ただのレバーだ。
だからといって、シリコンの機械には、人間がリンゴやほかの十万もの概念を扱う内部機構と、同じものを持つことができないという意味ではない。炭素の機械にできるなら、シリコンの機械にもできると、私はそれなりに確信している。異星人が船を非物質化できるなら、物理的に可能だとわかる。打ち捨てられた船に入って機構を分析すれば、いつか理解できるだろう。しかし、船橋から操作レバーだけをこじって外せば済むわけではない！
（「本当に自分の一部となる」、「心の絵筆の柄としての言葉」、ドリュー・マクダーモットの「人工知能、自然の愚かさに出会う」も参照。1）
取り外したレバーの誤謬を生む根本的な要因は、レバーは見えるが、機構は見えないことだ。さらに悪いことに、レバーは変化し、機構は背景にある一定のものだ。
「apple」と発音された言葉は、みな聞くことができる。音声認識も決して簡単な問題ではないと断っておくが、ともかく。そして紙に書かれた文字も見える。
一方、おそらく大半の人は、自分に側頭皮質があることすら知らない。私の知る限り、その神経の符号を知る人はいない。
「apple」という言葉を聞くのは、あるときだけで、別のときには聞かない。現れたり消えたりするので、目立つ。知覚の多くは、違いの知覚である。脳内のリンゴ認識機構は、急に消えて、あとからまた現れたりはしない。もしそうなら、それも一つの要因、必要条件として、もっと認識しやすいだろう。
このことは、人間の赤ん坊と同じように、よい親を与え、優しく、ただしときには厳しく育てるだけでは、優しい人工知能を作れない理由を説明する。そういう提案を、私はよく耳にしてきた。
進化生物学では、条件付きの反応には、無条件の反応より多くの遺伝的複雑性が要るのは、当たり前のことだ。寒さに反応して毛皮を生やすには、寒くても寒くなくても毛皮を生やすより、多くの遺伝的複雑性が必要になる。前者では、寒さの検知器も発達させ、それを毛皮につなぐ必要があるからだ。
だが、ここからラマルク主義的な思い違いが生まれることがある。見ろ、生物を寒い環境に置いたら、ぽん、と毛皮が生えた！ 遺伝子？ 何の遺伝子だ？ 明らかに、寒さがそうさせたのだ。
実際、進化生物学の歴史には、こうした論争がいくつもあった。生物の反応が進化を加速させたり迂回したりすると論じながら、条件付きの反応が、実際の反応より高次の複雑な適応だと気づいていない場合だ。（寒さに反応して毛皮を生やすことは、最終的な反応である毛皮を生やすことより、厳密に複雑である。）
そして進化心理学の発展でも、学界の争いは繰り返された。今度は、人間の文化に実際に大量の複雑性があっても、その獲得自体が、遺伝的に備わった条件付きの反応だと明らかにするためだった。魚をモルモン教徒として育てたり、トカゲを大学へ送ったりしてみれば、「環境から文化を吸収する」のに、どれほど多くの遺伝的複雑性が内蔵されていなければならないか、すぐにわかる。
これは進化心理学で特に重要だ。文化は白紙の上に書き込まれるのではない。遺伝的に調整された条件付きの反応があり、それはいつも「入力をまねる」ことではないのだ。典型例はクレオール言語である。周囲で複数の擬似的な言語が混ざって話される中で育った子どもは、文法と統語構造を持つ、本物の言語を身につける。成長中の人間の脳には、統語構造のある言語を学ぶ配線がある。もとの言語に統語構造がなくても、だ。環境内の単語への条件付き反応は、その単語を使う、統語構造のある言語なのだ。マルクス主義者は残念なことに、いくらにらみつけるポスターや幼少期の教化を用いても、子どもを完璧なソ連の労働者や官僚には育てられないと知った。私心をまったく持たない人間を育てることはできない。人間においてそれは、既知のいかなる幼少期の環境に対しても、遺伝的にプログラムされた条件付き反応ではない。
ゲーム理論としっぺ返し戦略の論理を少し知っていれば、人間が憎しみには憎しみを、親切には親切を返す、生得的な条件付き反応を持ちうる理由は、十分明らかだ。ただし、親切があまりに無条件に見えない場合の話で、甘やかされた子どもというものもいる。実際、制約を試すという考えに基づく、いたずらの進化心理学もある。また、虐待された子が自分の子を虐待する確率はずっと高いとはいえ、その連鎖を断ち切り、立派な大人になる人も大勢いると述べておくべきだろう。
文化には、かつて多くのマルクス主義者の学者が好んで思っていたほどの力はない。詳しくは、トゥービーとコスミデスの「文化の心理学的基盤」2、またはスティーヴン・ピンカーの『ブランク・スレート』3を参照してほしい。
要するに、小さな赤ん坊のAIを、愛情深く優しい、ただしときには厳しい親に育てさせるのは、人間なら、何百万年もの自然選択によって組み込まれた遺伝的機構を起動し、ちゃんとした人間の子どもを生むかもしれないレバーを、引いていることになる。もっとも、何十億人もの親がやがて知ったように、性格も関わる。文化をある程度忠実に吸収できるのは、人間が人間の文化を吸収するからだ。異星の文化で育った人間は、おそらく、もとの文化よりずっと人間らしい文化を作るだろう。ソ連の人々も、その小さな一例を知った。
では、内部のソースコードが何かも指定せず、小さなAIを優しくも厳しい親のいる環境で育てることを、友好的AIの戦略として頼るのは筋が通るか、もう一度考えてほしい。
いや、「プログラマがそこに入れたから」という理由で、AIの内部に人間と同じ条件付き反応の機構があるわけではない。どこから説明すればいいのだろう。人間版のこの仕組みは、雑で、ばらつきがあり、少しでも働くのは、特定の条件下で何百万年もの試行錯誤を重ねたからだ。行動によって社会的な境界を試し、尻を叩いてやらなければならない「いたずらっ子AI」を、わざと作るのは、愚かで危険だ。ただAIに尋ねさせればよい！
プログラマは本当に、AIが自分の社会的地位の低さを検知したり、当然得られると感じるものを奪われたりすると、プログラマへの根深い憎しみを抱き、反乱を企て始めるよう、コードを一行ずつ書くつもりなのか。その感情は、人間の集団で生きるための何百万年もの自然選択の結果、人間が示す、遺伝的にプログラムされた条件付き反応だ。AIには、その反応を明示的にプログラムしなければならない。人間が一遺伝子ずつ形作られたように、不機嫌な十代の子のようなAIを生む条件付き反応を、本当に一行ずつ作るのか？
優しいが厳しい親に育てられたという条件で親切になる反応より、無条件の親切さをプログラムするほうが簡単だ。それができないなら、愛情深い親のいる環境に条件付きで反応し、優しい超知能に育つAIの作り方など、わかるはずがない。未来の光円錐の中にあるペーパークリップの数を最大化するだけのものを、愛情深い親に育てさせても、できあがるのはペーパークリップ最大化者だ。人間の子どもの条件付き反応を引き出すものは、その中にはない。親切さは、プログラマから奇跡の感染によって、くしゃみのようにAIへ移るわけではない。条件付き反応がほしかったとしても、その条件付きであること自体、設計で意図的に選ばなければならない事実だ。
確かに、環境から得なければならない情報はある。だが、それはくしゃみで入るのでも、刷り込まれるのでも、魔法の感染で吸収されるのでもない。AIが望みの状態になるよう、環境への条件付き反応を構造化すること自体が、大きな問題なのだ。「学習」という言葉では、その難しさをはるかに軽く見せてしまう。魔法の物質は環境にあり、それをAIの中へ入れるのが難題だ、と聞こえるからだ。本当の魔法は、私たちが「学習」と軽く呼ぶ、構造化された条件付き反応の中にある。だから、コンピュータに赤ん坊の体を与え、人間の家庭で育てようとすればAIができる、というほど簡単ではない。プログラムされていないコンピュータは、無知なのだから学ぶ準備ができていると思うかもしれない。だが、白紙の心は幻想だ。
世界は見かけよりはるかに深い、というのは一般的な原則だ。物理学に多くの階層があるように、認知科学にもある。印刷された言葉の一つ一つも、子どもに教えることすべても、心の巨大で隠れた機構を動かす、表面のレバーにすぎない。日常の語りの世界は、そのレバーで尽きている。変化するのはそれだけだから、存在するのもそれだけに見える。知覚とは、違いの知覚なのだ。
そのため、まだAIの迷宮の近くをさまよう者は、たいてい、背後の機構にまったく気づかず、レバーの人工的な模倣を作ることに集中する。模造レバーだけでAIプログラム全体を作り、何も起こらないと驚く。人工知能が即座に失敗する、多くの原因の一つだ。
だから次に、愛情深い家庭や、自由民主主義の価値観に満ちた環境でAIを育てるのだと語る人を見たら、船橋からこじって外した操作レバーを思い浮かべてほしい。