❦
ドリュー・マクダーモットの古典的な論文「人工知能、自然の愚かさに出会う」は、幸福は心の状態であるといった概念を意味ネットワークで表そうとするAIプログラムを批判した。1
STATE-OF-MIND
⋀
|IS-A
|
HAPPINESS
そしてもちろん、HAPPINESSというノードの中には何もない。意味ありげな英語の名前がついた、ただのlispのトークンなのだ。
そこでマクダーモットはこう言う。「規律あるプログラマーにとってのよい試験は、重要な箇所にgensymで生成した記号を使い、それでも自分のシステムに感心するか試してみることだ。たとえば、STATE-OF-MINDをG1073に改名すれば……」、IS-A(HAPPINESS,G1073)となり、「ずっと怪しげに見える」。
私なりに少し言い換えるなら、意味ありげな英語名をすべてランダムな記号に置き換えれば、G1071(G1072,G1073)が何を意味するか、まったくわからなくなる。そのAIプログラムは、ハンバーガーを表そうとしていたのか。リンゴか。幸福か。誰にわかるだろう。意味ありげな英語名を消しても、それが再び生えてくることはない。
物理学者が「光は波だ」と言い、あなたがその物理学者を信じたとする。すると、頭の中にはこんな小さなネットワークができる。
IS-A(LIGHT, WAVES).
「光は何からできているの？」と聞かれたら、「波！」と答えられる。マクダーモットの言葉を借りれば、「問題はすべて、聞き手に、何を告げられたかを気づかせることにある。『理解させる』のでなく、『気づかせる』ことだ」。代わりに物理学者が、「光は小さな曲がりくねったものでできている」と言ったとしよう。（ちなみに、それは正しくない。）予期する経験に何か違いがあると、あなたは気づくだろうか。
「光は波だ」という、知識らしきものを信用すべきでないと、どうすれば気づけるだろう。一つの試験は、こう問うことだ。「もしこの知識が何らかの理由で心から消えたら、自分で再び生み出せるだろうか？」
これは、AIプログラムの意味ありげな名前のlispトークンをでたらめに入れ替え、それが何を「指している」ことになっているのか、ほかの人にわかるか試すのと、趣旨は似ている。また、次の式を記録して再生するようプログラムされた人工の計算者を考えるのとも似ている。
Plus-Of(Seven, Six) = Thirteen
これを記憶から消すと、別の人間がデータベースへ再入力するまで、知識を再び生み出せない。「光は波だ」を忘れたあなたが、最初に知ったときと同じように物理学者に尋ねる以外、その知識を取り戻せないのと同じだ。物理学者たちが初めに生み出したように、自分でその知識を生み出すことはできない。
私たちが信念を作るきっかけとなる経験は、その信念を、ほかの知識や感覚入力、運動出力とも結びつける。ビーバーが丸太をかじるのを見れば、この「丸太をかじり切るもの」がどんな姿かを知り、次に見たとき、それが「ビーバー」と呼ばれていようといまいと見分けられる。だが、誰かに「ビーバー」についての事実を教わって信念を得たなら、実際にビーバーを見ても、わからないかもしれない。
人工知能が自力では学べない事実を教えようとすることには、この恐ろしい危険がある。人に、自分で確かめられない物理学を教えようとすることにも、同じ危険がある。物理学者が「波」で意味するのは、「小さなくねくねしたもの」ではなく、純粋に数学的な概念だからだ。
デイヴィドソンが指摘するように、「ビーバー」は砂漠にすみ、全身が真っ白で、成体の体重は300ポンドだと信じているなら、あなたは、真であれ偽であれ、ビーバーについての信念を何ももっていない。「ビーバー」についての信念は、間違いと呼べるほどさえ正しくないのだ。2消えた信念を再び生み出すのに十分な経験がないなら、その信念を何かと結びつけるための経験は、果たして十分にあるのだろうか。ウィトゲンシュタインは言う。「回してもほかに何も動かない歯車は、その仕組みの一部ではない」。
AIについて読み始めてすぐ、マクダーモットを読む前でさえ、私はいつもこう自問するのがとてもよい考えだと気づいた。「この知識が心から消えたら、どうすれば再び生み出せるだろうか？」
消去が深くなるほど、試験は厳しくなる。ピタゴラスの定理の証明がすべて心から消えても、もう一度証明できるだろうか。できると思う。ピタゴラスの定理についての知識がすべて心から消えたら、証明すべきその定理に気づくだろうか。それは実際に試さずに豪語するのは難しい。だが、長さ3と4の辺をもつ直角三角形を渡され、斜辺の長さは計算できると言われたなら、ほかの数学の知識がすべて残っていれば、計算できると思う。
数学的証明という概念そのものはどうだろう。誰にも教えられていなかったとして、自分のほかの信念を足場に、それを再発明できるだろうか。人類にそんな概念のなかった時代がある。誰かが発明したはずだ。その人は何に気づいたのだろう。同じくらい新しく重要なものを見たとき、私も気づくだろうか。それほどまでに枠の外で考えられるだろうか。
あなたの知識のうち、どれほどを再び生み出せるだろう。どれほど深く消されても、できるだろうか。これは、結びつきの足りない信念を捨てるための試験だけではない。一つの事実だけでなく、知識の泉そのものを取り込む方法だ。
羊飼いが数える仕組みを作る。羊が囲いを出るたびに小石をバケツへ入れ、戻るたびに一つ取り出す仕組みだ。見習いのあなたがそれを理解していなければ——理由もわからず動く魔法でしかなければ——うっかり小石を一つ余分に落としてしまったとき、どうすればいいかわからない。自分で作れないものは、必要になっても作り直せない。源がなければ、源に戻り、パラメーターの設定を一つ変えて、出力を作り直すことはできない。「2足す4は6」がただ与えられた事実であり、その要素の一つが「5」に変わったらどうだろう。「2足す4は6」と教わっただけなのに、どうして「2足す5は7」とわかるだろうか。
鳥が通るたびに種を一つ落とす小さな植物を見ても、それで羊のカウンターを一部自動化できるとは思いつかないだろう。元の発明者なら自分の発明を改良するのに使えることを学んだのに、あなたは源に戻り、作り直すことができない。
ある考えの源を自分の中にもっていれば、新しい知識と技能を得るにつれ、その考えも自分とともに変わることができる。考えの源を自分の中にもっていれば、それは本当に自分の一部になり、自分とともに育っていく。
考える価値のあるあらゆる考えの源に、自分自身がなれるよう努めよう。その考えがもともと外から来たものなら、内からも生まれるようにしよう。絶えず自問しよう。「この考えが消えたら、どうすれば再び生み出せるか？」答えが見つかったら、その知識も消されたところを想像しよう。そして泉が見つかったら、ほかに何が湧いてくるか、確かめよう。