❦
ドリュー・マクダーモットの古典的論文「人工知能と天然の愚かさの出会い」は、意味ネットワークを使い、幸福は心の状態であるといった概念を表現しようとするAIプログラムを批判した。1
STATE-OF-MIND
⋀
|IS-A
|
HAPPINESS
そしてもちろん、内側には何もない――HAPPINESSノードの内側には。ただ、意味ありげな英語名を持つ、むき出しのLISPトークンがあるだけだ。
そこでマクダーモットはこう言う。「規律あるプログラマーにとって良い試験は、要所でgensymを使ってみて、それでも自分のシステムを賞賛できるか確かめることだ。たとえばSTATE-OF-MINDをG1073と改名すれば……」、IS-A(HAPPINESS,G1073)が得られ、「ずっと疑わしく見える」。
あるいは、私ならこの考えを少し言い換える。意味ありげな英語名のすべてを無作為な記号に置き換えたなら、G1071(G1072,G1073)が何を意味するのか、まったく理解できなくなる。そのAIプログラムはハンバーガーを表現するためのものだったのか。リンゴか。幸福か。誰にもわからない。意味ありげな英語名を削除しても、それが再び生えてくることはない。
ある物理学者が、「光は波である」と告げ、あなたがその物理学者を信じるとしよう。すると頭の中に、次のような小さなネットワークができる。
IS-A(LIGHT, WAVES).
誰かに「光は何でできている？」と尋ねられれば、「波だ！」と答えられる。マクダーモットが言うように、「問題のすべては、聞き手に、自分が何を告げられたのか気づかせることである。『理解』ではなく、『気づく』ことだ」。代わりに物理学者が「光は、小さく曲がりくねったものでできている」と告げたとしよう。（ちなみに、これは真ではない。）何かの違いに気づくだろうか――予期される経験における違いに。
「光は波である」という見せかけの知識を信用すべきでないと、どうすれば気づけるだろうか。適用できる試験の一つは、「この知識が何らかの形で心から削除されたら、私はそれを再生成できるだろうか？」と問うことである。
これは、AIプログラム内で意味ありげな名前を持つLISPトークンの名前をかき混ぜ、それが何を「指す」とされていたか、別の誰かが理解できるか確かめることと、発想が似ている。また、記録して再生するようプログラムされた人工算術家を観察することとも、発想が似ている。
Plus-Of(Seven, Six) = Thirteen
これを記憶から削除すると、別の人間がデータベースへ再入力するまで、人工算術家は知識を再生成できない。同じく、「光は波である」ことを忘れたなら、最初にその知識を得たのと同じ方法、すなわち物理学者に尋ねる以外に、それを取り戻すことはできない。物理学者たちが元々その知識を生成したのと同じように、自分で知識を生成することはできない。
信念を形成するよう私たちを導いた経験は、その信念を、ほかの知識や感覚入力や運動出力にもつなげる。ビーバーが丸太をかじっているのを見れば、丸太をかじり切るこの物がどんな姿をしているかを知り、今後、それが「ビーバー」と呼ばれていようといまいと、認識できるようになる。しかし、「ビーバー」についての事実を別の誰かから聞くことでビーバーについての信念を得たなら、実際にビーバーを見ても認識できないかもしれない。
これこそ、人工知能が自力で学べない事実を人工知能へ教えることの恐ろしい危険である。また、自力で検証できない物理学を誰かへ教えることの恐ろしい危険でもある。なぜなら、物理学者が「波」で意味するのは「小さく波打つもの」ではなく、純粋に数学的な概念だからである。
デイヴィドソンが指摘するように、「ビーバー」は砂漠に住み、純白で、成体になると300ポンドの重さになると信じているなら、真であれ偽であれ、ビーバーについての信念を何も持っていない。「ビーバー」についての信念は、間違っていると言えるほど正しくない。2削除された信念を再生成するのに十分な経験を持たないなら、その信念を何かへつなげるのに十分な経験を持っているだろうか。ウィトゲンシュタインは言う。「回せるのに、ほかの何も一緒に動かない歯車は、機構の一部ではない」
AIについて読み始めてほとんどすぐに――マクダーモットを読むより前にさえ――私は、常にこう自問するのが実に良い考えだと気づいた。「この知識が心から削除されたら、どう再生成するだろうか？」
削除が深いほど、試験は厳しくなる。ピタゴラスの定理の証明がすべて心から削除されたら、もう一度証明できるだろうか。できると思う。ピタゴラスの定理についての知識がすべて心から削除されたら、ピタゴラスの定理に気づき、証明し直すだろうか。実際に試さずに、できると豪語するのは難しい。しかし、辺の長さが3と4の直角三角形を手渡され、斜辺の長さは計算できると告げられれば、数学の残りをすべてまだ知っているかぎり、計算できると思う。
数学的証明という概念はどうだろうか。誰からも教えられたことがなければ、自分が持つほかの信念に基づいて、それを再発明できるだろうか。人類がそのような概念を持たなかった時代があった。誰かが発明したに違いない。その人は何に気づいたのか。同じくらい新しく、同じくらい重要な何かを見たなら、私は気づくだろうか。そこまで箱の外で考えられるだろうか。
自分の知識のどれほどを再生成できるだろうか。どれほど深い削除から再生成できるだろうか。これは、つながりが不十分な信念を追い出すための試験であるだけではない。一つの事実だけでなく、知識の泉を吸収する方法でもある。
ある羊飼いが数える仕組みを作る。羊が囲いを出るたびに小石を桶へ入れ、羊が戻るたびに小石を取り出す仕組みである。弟子であるあなたがこの仕組みを理解していなければ――明らかな理由もなく働く魔法でしかなければ――誤って余分な小石を桶へ落としたとき、どうすべきかわからないだろう。自分で作れないものは、状況が求めても作り直せない。源を持たなければ、源へ戻ってパラメータ設定の一つを微調整し、出力を再生成することはできない。「2足す4は6」があなたにとって根拠のない事実であり、その後で要素の一つが「5」に変わったなら、「2足す4は6」と単に教えられただけなのに、「2足す5は7」だとどうしてわかるのか。
鳥が通るたびに種を落とす小さな植物を見ても、その植物を使えば、羊を数える作業を部分的に自動化できるとは思いつかないだろう。元の発明者なら発明の改良に利用するであろう事実を知ったのに、あなたは源へ戻り、それを作り直すことができない。
思考の源を自分の内に持つとき、その思考は、あなたが新しい知識と新しい技能を得るにつれ、あなたとともに変わり得る。思考の源を自分の内に持つとき、その思考は真にあなたの一部となり、あなたとともに育つ。
考える価値のある思考は一つ残らず、自分自身がその源になるよう努めてほしい。思考が元は外から来たとしても、内からも生まれるよう確かめてほしい。「その思考が削除されたら、どう再生成するだろうか？」と絶えず自問してほしい。答えを得たら、その知識も削除されたと想像してほしい。そして泉を見つけたら、ほかに何を注ぎ出せるか確かめてほしい。