非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

「複雑さ」と言うな

Say Not “Complexity”

❦

昔々……。

マルチェロと初めて会ったころの話だ。後に私は彼と一年間、AI理論を研究することになるが、この時点ではまだ弟子として受け入れていなかった。数学と情報のオリンピックで全国レベルの競技に参加していると知っており、それだけで、もっとよく見てみようと関心を引かれるには十分だった。だが、AIについて考えることを学べる人物かどうかは、まだわからなかった。

私はマルチェロに、AIがルービックキューブの解き方を発見するとしたら、どうすると思うか話してもらった。あらかじめプログラムしておく方法ではない。それは簡単だ。AI自らがルービック宇宙の法則を見つけ、それをどう利用するか推論するにはどうするか、ということだ。ルービックキューブを解く鍵である「操作子」や「マクロ」という概念を、AIはどうやって自力で発明するのだろう?

この議論の途中で、マルチェロが言った。「ええと、AIがXするには複雑さが必要で、Yするにも複雑さが必要だと思うんですが——」

私は言った。「『複雑さ』と言わないで」

「どうしてですか?」とマルチェロ。

私は言った。「複雑さそれ自体を目標にしてはいけない。複雑さをいくらか増す、特定のアルゴリズムが必要になることはある。でも、複雑さのための複雑さは、物事を難しくするだけだ」。(このとき頭にあったのは、インターネットが「十分に複雑」になると「目覚めて」AIになる、と主張する人々だった。私はそんな主張を何度も聞いていた。)

するとマルチェロは言った。「でも、それを可能にする複雑さの量が、どこかにはあるはずです」

私は少し目を閉じ、どうすればすべてを言葉で説明できるか考えた。私には、「複雑さ」と言うことが、AIという踊りの中で誤ったステップを踏むように、ただ感じられたのだ。意識の流れの一文一文について、いちいち言葉で熟考できるほど速く考えられる人などいない。そんなことをすれば、無限の再帰が必要になる。私たちは言葉で考える。だが意識の流れを、言葉より下の水準で導いているのは、過去の洞察と厳しい経験が、訓練によって残した痕跡なのだ……。

私は言った。「『技術的な説明の技術的な説明』は読んだ?」「はい」とマルチェロは言った。

「じゃあ」と私は言った。「『複雑さ』と言っても、確率質量は集中しないよ」

「ああ」とマルチェロは言った。「『創発』みたいなものか。なるほど。じゃあ……Xが実際にはどう起こりうるのか、考えなきゃいけないわけですね……」

そのとき私は思った。「この子には、教えられるかもしれない」。複雑さは、役に立たない概念ではない。コルモゴロフ複雑性やヴァプニク=チェルヴォネンキス複雑性など、数学的な定義がある。直感的な水準でも、複雑さは考える価値があることが多い。仮説の複雑さを見て、それを支える証拠に照らして「複雑すぎる」か判断したり、設計を見てもっと単純にしようとしたりする必要がある。

だが概念は、それ自体として有用だったり無用だったりするわけではない。正しいか間違っているかがあるのは、使い方だけだ。マルチェロが踊りの中で踏もうとしていたステップでは、彼はただで何かを説明し、何も払わずに何かを得ようとしていた。少なくとも私の分野では、きわめてよくある踏み間違いだ。汎用人工知能の議論に加われば、みんなが同じことを、あちこちで、何度も何度もしているのが見える。自分でそうしていると気づかないまま、わからないところを絶えず飛ばしているのだ。

それは一瞬で起こる。謎めいたものの背後に、結果を左右しない因果ノードを置く。説明のように感じられるが、そうではない因果ノードを。間違いは言葉より下の水準で起きる。特別な性格上の欠陥など必要ない。それは人間が放っておけばする考え方であり、太古からそう考えてきたのだ。

避けなければならないのは、謎の部分を飛ばすことだ。謎のところにとどまり、正面から向き合わなければならない。謎を飛ばせる言葉は数多くあり、別の文脈なら正当に使えるものもある。たとえば「複雑さ」だ。だが、本質的な間違いは、その背後にどんな因果ノードを置くかによらず、飛ばしてしまうことにある。この飛ばす動きは、ひとまとまりの思考ではなく、微小な思考だ。自分がやっているところを捉えるには、細心の注意がいる。そして飛ばさないよう訓練すると、それは言葉で推論することではなく、直感の問題になる。自分の地図のどこがまだ空白なのかを感じ取り、もっと大切なことに、その感覚に注意を払わなければならない。

学界には、完成したように見える論文を出せるよう、問題を隠してしまえという大きな圧力があるのではないかと思う。「この部分の仕組みはさっぱりわからない」「ここで奇跡が起こる」と書かれた、明らかに未完成の地図より、いくつかの「創発現象」を含む、一見完成したモデルのほうが評価される。その未完成な論文は、学術誌に受理すらされないかもしれない。面白いことはすべて、まさに未知の段階で起きているのかもしれないからだ。そして実際、地図の魔法でない部分はどれも、重要でもなかったと判明することはある。未知の領域に入り、少しずつ問題を解こうとするなら、そういう代価を払うこともある。だが、だからこそ、自分がまだ終わっていないと知ることが、なおさら重要になる。たいていの人は、時間を無駄にすることが死ぬほど怖くて、そもそも未知の領域へ入ろうとしない。

革命的なAIの新興企業で働いているなら、問題を隠せという圧力は、さらに大きくなる。そうしなければ、AIをどう作るかまだわかっていないと自分に認めなければならず、現在の人生設計が、耳元で轟音を立てながら崩れ落ちることになる。だが、これは説明をつけすぎかもしれない。人間は放っておけば飛ばしてしまうのだから。例を見たいなら、宗教や哲学や霊性、あるいは専門教育を受けていない科学分野について、人々が議論する様子を見ればいい。

マルチェロと私はAIの研究で、一つの約束を作った。理解できないことに出くわしたとき——しょっちゅうだった——「Xが魔法でYする」のように、「魔法」と言うことにしたのだ。ここには未解決の問題があり、理解に穴があると、自分たちに思い出させるためだ。「複雑さ」や「創発」と言うより、「魔法」と言うほうが、はるかによい。前の二つは、理解したという錯覚を作る。「魔法」と言って空欄を残し、後で取り組まなければならない仕事の印にするほうが、賢明なのだ。