非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

見失われた目的

Lost Purposes

❦

初めて祈るよう言われたのは、幼稚園か小学一年生のときだった。ヘブライ語の祈りを別の文字で音写したものを渡され、私は言葉の意味を尋ねた。ヘブライ語で祈りさえすれば、言葉の意味を知る必要はなく、それでも効くのだと教えられた。

それが、私がユダヤ教から離れていく始まりだった。

これを読んでいる今も、どこかの大学の机で、若者が真剣に勉強している。将来使うつもりは一切なく、知ること自体にも興味のない内容を。高給の仕事が欲しい。そのためには紙切れが必要で、その紙切れには先に修士号が必要で、修士号には学士号が必要で、学士号を出す大学は、卒業のために12世紀の編み物の模様の授業を取れという。だから、期末試験が済んだ瞬間に全部忘れるつもりでいながら、懸命に勉強する。紙切れが欲しいので、真面目に取り組むのだ。

あなたは、すべてが狂っていると気づいたかもしれない。それでも従ったのではないか。他に選択肢はなかったのだろう? ここベイエリアの最近の調査では、幼稚園から小学五年生までを教える教員の80%が、理科に使う時間は週一時間未満と答え、16%はまったく時間を使わないと答えた。なぜか。直接の原因は「落ちこぼれ防止法(No Child Left Behind Act)」などの法律だと聞く。今や授業時間のほぼすべてが、州や連邦の義務づけた試験の準備に費やされている。出典は見つからないが、ある学校では必須試験を受けるだけで授業時間の40%を使っていた、と記憶している。

旧ソ連の官僚制は、現実より見かけを重視することで有名だった。ある靴工場は、小さな靴を大量に作り、割り当てを超過達成した。別の靴工場は、切っただけで組み立てていない革を「靴」として報告した。上役の官僚も、割り当ての超過達成を報告したかったので、詳しく調べる気はなかった。足を凍えさせている同志たちは、大いに助かったことだろう。

現在、いくつかの情報源が、医学で公表された知見の実に過半数は、「p < 0.05で統計的に有意」でも真実ではない、と示唆している。だが掲載の基準がp < 0.05のままなら、なぜ自分にもっと高い基準を課すのか。実験群を大きくするために研究費を増やす必要があり、論文を出せる可能性も下がるのに。科学の目的は論文をたくさん出すこと、大学の目的は特定の羊皮紙を刷ること、学校の目的は年間予算を確保する必須試験に合格することだと、皆知っている。ゲームの規則は自分で決められない。別の規則でやろうとすれば、負けるだけだ。

(もっとも物理学の学術誌は、なぜかp < 0.0001を基準に求める。まるで物理学の論文を掲載する以外に、自分たちの存在目的があると考えているかのようだ。)

スーパーにはチョコレートがある。スーパーには車で行ける。運転するには車に乗らねばならず、そのためにはドアを開ける必要があり、それには鍵が要る。スーパーにチョコレートがないとわかったら、それでもドアは開ける必要があるからと、車のドアを開けたり閉めたりして立ち尽くすことはないだろう。自分で立てた計画の目的を見失う人は、めったに見ない。

誘因を大きな組織に通さなければならないときは、話が違う。まして、いくつもの組織や利益集団、その一部は政府という場合はなおさらだ。そのとき、一つの心が生んだのなら文字どおり正気を失っていると判断するような行動が現れる。測定できるのがそれだからと、ドアを開けるたびに報酬をもらう人がいる。その人は、運転者がスーパーへの到着で報酬を得るかどうかには関心がない。買い物客がチョコレートを買うか、それを食べる人が幸せか飢えているかなど、なおさらだ。

ベイズ的な視点では、下位目標は条件付き確率関数の随伴現象である。効用なしに期待効用はない。道具的価値が数学的に独り歩きし、終端的価値を置き去りにできると考えるのは、どれほど馬鹿げているだろう。意思決定理論の正気の基準に照らして、正気ではない。

だが、「落ちこぼれ防止法」を考えてみよう。政治家は、教育の問題に何か対処しているように見せたい。子供が仕事を探す15年後ではなく、今年の有権者に忙しく働いているように見えなければならない。政治家は教育の消費者ではない。官僚は進歩を示す必要があり、つまり今年測れる進歩にしか関心がない。理科を知らずに終わるのは彼らではない。教科書を発注する出版社も、購入する委員会も、教室で退屈しきって座っているわけではない。

知識の本当の消費者は子供たちだ。だがお金を払えず、投票できず、委員にもなれない。親は子供を気遣うが、自分で授業を受けるわけではない。「教育に厳しい」という表面的な印象を頼りに、政治家の責任を問うしかない。政治家は再選に忙しく、自分で全データを調べる暇はない。官僚が忙しそうに働き、調査を発注するという見かけに頼らなければならない。子供の役に立たなくても、政治家が気遣っているように見せる役には立つ。官僚は自分で教科書を使う予定がないから、読みにくくてひどいものでも、購入の手続きが表面的に立派に見えれば構わない。出版社に悪い教科書を作る動機はない。だが、購入委員会が取り上げる項目の数で比較すること、小学四年生の委員会と三年生の委員会が連携していないことは知っている。だから一冊にできるだけ多くの項目を詰め込む。教員は年度末までに四分の一も終えられず、翌年の教員はまた最初から始める。教員は不満を言うかもしれないが、決定権はない。結局、懸かっているのは自分の将来ではないから、無報酬の利他行動に注げる労力にも、厳しい上限ができる……。

こう見て、失われた情報と誘因のすべてを考えると、もとの「知識を得る」という目的が少しでも残っていることのほうが驚きだ。もっとも多くの教育制度は現在、ほとんど何もないのと大差ない状態へ崩れつつあるように見える。

問題が本当に解決するところを見たい? 政治家に学校へ通わせればよい。

一人の人間の心は、十数個の中間事象の条件付きの起こりやすさを通じて効用の確率的な期待が流れる様子を、追うことができる。車のドアを開ける期待効用が、スーパーにチョコレートがあるかどうかに依存するような、離れた場所同士の依存関係も含めて、だ。だが組織が今日報酬を与えられるのは、今日測定でき、今日法的な契約に書き込めることだけである。そのため、遠い帰結ではなく中間事象を測ることになる。そして、それらの中間指標は穴のある一般化であり、しばしば穴だらけだ。官僚は、願い手と価値を共有しないので、信用できない魔人なのである。

宮本武蔵はこう言った。1

刀を手に取るとき、何より大事なのは、手段はどうあれ敵を斬るという意志である。敵の刀を受け、打ち、はじき、たたき、あるいは触れるときにも、同じ動きの中で敵を斬らなければならない。これを身につけることが肝要である。打つ、はじく、たたく、触れることばかり考えていては、実際に敵を斬れない。何よりも、その動きを敵を斬るところまで通すことを考えなければならない。このことを十分に研究せよ。

(私も、何かを十分に研究せよと読者に言っても、失礼にならない時代に生きたかった。)

剣の戦いで、なぜ個人が自分の目的を見失うのか。他人に戦い方を教えられ、技法のすべてを自分の内から生み出したのでなければ、あるときは受け、別のときははじく理由がわかっていないかもしれない。規則に例外があるときがわからず、いつものやり方では斬り通せない場面を見落とすかもしれない。

認識の合理性の技法で肝要なのは、一つ一つの規則が、同じ動きの中でどう真実へ斬り通すかを理解することだ。それに対応する実践の合理性、確率論に対する意思決定理論の要点は、どの期待効用がどう効用へ斬り通すか、常に見えていることだ。このことを十分に研究しなければならない。

C・J・チェリイはこう言った。2

おまえの剣には刃はない。ただおまえの意志があるだけだ。それが迷えば、おまえに武器はない。

想像上のAIという魔人に願いをかけるとき、人が道を誤るのを何度も見てきた。自分によいと思える願いを次々に考え、ときには修正を大量に重ね、ときには慎重さを装うことすらしない。そしてメタの水準へ上がらない。五歳の私を無神論への道へ進ませた、目的へ目を向ける本能が働かない。私なら反射的に問うことを問わない。「なぜ自分はこの願いがよいと思うのか。魔人も同じように判断するだろうか?」。自分の判断の背後に、それを生み出す源があることが見えていない。ボールから目を離す。弾んだことは知っていても、どこから弾んできたか、判断を生んだ基準を本能的に振り返って見ないのだ。

利己的なはずの人が利他主義的な理由で利己主義を擁護したり、利他的なはずの人が利己的な理由で利他主義を擁護したりするとき、自動的に気づかない人についても同じだ。

スーパーへ車で行く目標なら、人は問題なく追える。すべてが自分の頭の中にあり、魔人も官僚制も哲学も介在しないなら。問題は、本物の文明はこれよりはるかに複雑だということだ。教室で苦しむ子供と、仕事があまりできない大学新卒者の間には、何十もの組織と何十年もの時間がある。(だが、その卒業生が忙しそうに見せるのが上手なら、面接官や上司に気づかれるだろうか?)行動と帰結の間につながりが一つ増えるたび、意図が迷う機会が一つ増える。介在するつながりごとに、情報と誘因が失われる。このことは、私ほどには大半の人を悩ませない。そうでなければ、なぜ同級生は皆、意味も知らずに祈りを唱えるのを受け入れたのか。判断を生み出すものへ目を向ける、同じ本能を感じていなかったのだ。

人はボールから目を離さないことを学べるだろうか。意図を迷わせないことを。同じ動きの中で達成する上位の目標を知らないまま、はじいたり打ったり触れたりしないことを。他の条件が同じなら、人は自分の仕事をしたいと思うことが多い。正気な企業はありうるだろうか。正気な文明さえも? 遠い夢にすぎないが、私が目的(効用、終端的価値ともいう)を失うことなく、意図(期待効用、道具的価値ともいう)の流れを保つことについて書いた、これらすべてのエッセイで目指してきたことだ。親の目標と子の目標の流れを、人は感じ取るよう学べるだろうか。期待効用と効用の違いを、暗黙にだけでなく、意識的にも知れるだろうか。

文明への脅威を気にかけているだろうか。複雑な文明にとって最悪のメタ脅威は、それ自身の複雑さだ。その複雑さが、多くの目的の喪失を招くからである。

振り返ると、何にもまして私の人生を動かしてきたのは、目的を見失うことへの並外れて強い嫌悪だったとわかる。それを、学べる技能に変えられればと思う。

Miyamoto Musashi, Book of Five Rings (New Line Publishing, 2003). ↩︎

Carolyn J. Cherryh, The Paladin (Baen, 2002). ↩︎