Yudkowsky Sequences 日本語訳
非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

見失われた目的

Lost Purposes

私が初めて祈るよう求められたのは、幼稚園か小学一年生のときだった。ヘブライ語の祈りの音写を渡された。その言葉はどういう意味かと尋ねると、ヘブライ語で祈りさえすれば言葉の意味を知る必要はなく、それでも効き目があるのだと教えられた。

それが、私がユダヤ教と決裂する始まりだった。

あなたがこれを読んでいる今も、ある若い男性か女性が大学の机に向かい、使うつもりなどまったくなく、それ自体を知りたいという興味もない内容を、真剣に勉強している。彼らは高給の仕事を求め、その仕事には一枚の紙が必要で、その紙を得るにはまず修士号が必要で、修士号には学士号が必要で、その学士号を授与する大学では卒業のために12世紀の編み物模様についての授業を受けねばならない。そこで彼らは、期末試験が終わった瞬間にすべて忘れるつもりでいながらも、真剣に努力を続ける。その一枚の紙が欲しいからだ。

これがすべて狂気の沙汰だとあなたは気づいたかもしれないが、それでもやったに違いない。選択肢はなかったのだろう? ここベイエリアで行われた最近の調査では、幼稚園から小学五年生までを担当する教師の80%が、理科に充てる時間は週一時間未満だと報告し、16%は理科にまったく時間を使っていないと答えた。なぜか? 私の理解では、直接の原因は「落ちこぼれ防止法」(No Child Left Behind Act)と同種の法制にある。現在、教室のほぼすべての時間が、州または連邦政府が義務づけた試験の準備に費やされている。ある学校では、義務試験を受けることだけで教室の時間の40%を占めていたと記憶している(出典は見つけられないが)。

旧ソ連の官僚制は、実態よりも外観に関心を持つことで有名だった。ある靴工場は、極小の靴を大量生産してノルマを超過達成した。別の靴工場は、裁断しただけで組み立てていない革を「靴」として報告した。上級官僚たちは自分もノルマの超過達成を報告したかったため、仔細に調べることに興味がなかった。これらすべてが、足を凍えさせている同志たちの大きな助けとなった。

現在複数の出典で、医学分野で公表された知見は、実に過半数までもが、「p < 0.05で統計的に有意」であっても真ではないと示唆されている。だが、p < 0.05が公表の閾値であり続ける限り、より高い基準を自分に課す理由が誰にあるだろうか? それにはより大きな実験群のためにより大きな研究費が必要で、論文を公表できる可能性も下がるのに。誰もが知っている通り、科学の存在理由は論文を大量に出版することである。それは、大学の存在理由が特定の羊皮紙を印刷することであり、学校の存在理由が年間予算を保証する義務試験に合格することであるのと同じだ。ゲームのルールは自分で決められないし、別のルールでプレイしようとすれば、ただ負けるだけである。

(ただしなぜか、物理学誌はp < 0.0001という閾値を求める。まるで自分たちの存在には、物理学論文を公表すること以外の何か目的があると考えているかのようだ。)

スーパーにはチョコレートがあり、スーパーへは車で行ける。車を運転するには車内にいなければならず、そのためには車のドアを開ける必要があり、それには鍵が要る。スーパーにチョコレートがないと分かったら、車のドアを開ける必要がまだあるからといって、その場に立ち尽くしてドアを何度も開閉したりはしない。人が自分で立てた計画の目的を見失う姿は、めったに見かけない。

インセンティブが大規模な組織の中を流れなければならないときは話が別である。それが互いに異なる多くの組織や利益集団、そして政府組織までもを通過しなければならないときは、さらに悪い。そこでは、一つの心から生まれたのなら、文字通り狂気の印となるような行動が見られる。ある人は、車のドアを開けるたびに報酬を受け取る。それが測定できることだからである。そしてこの人は、運転手がスーパーに到着して報酬を得られるかどうかにさえ関心がない。まして、買い手がチョコレートを買うか、それを食べる人が幸せか飢えているかなど、気にも留めない。

ベイズ的視点から見れば、副目標は条件付き確率関数の随伴現象である。効用なき期待効用は存在しない。道具的価値がそれ自体の数学的生を得て、終端価値を置き去りにしうると考えるのは、どれほどばかげているだろう? それは意思決定理論上の健全さの基準に照らして、健全ではない。

しかし、「落ちこぼれ防止法」を考えてみよう。政治家たちは教育難に対処して何かをしているように見せたい。子供たちが仕事を探す十五年後ではなく、今年、有権者に忙しそうな姿を見せなければならない。政治家は教育の消費者ではない。官僚は進捗を示さなければならず、それは今年測定できる進捗だけに関心を持つことを意味する。科学に無知なままになるのは彼らではない。教科書を企画する出版社も、教科書を購入する委員会も、教室で退屈のあまり気が狂いそうになっているわけではない。

知識の実際の消費者は子供たちである。子供は金を払えず、投票できず、委員会の席に着けない。親は子供を気にかけてはいるが、自分自身で授業を受けてはいない。親は「教育に厳格」という表面的な印象に応じて政治家に責任を問うしかない。政治家は再選に忙しすぎて、あらゆるデータを自ら調べられない。忙しそうに働き、調査を委託している官僚の表面的な姿に頼らねばならない。それは子供を助ける役には立たないかもしれないが、政治家が子供を気にかけているように見せる役には立つ。官僚は自分で教科書を使うとは思っていないので、購入される過程が表面上よく見えさえすれば、教科書が読むに堪えないほどひどくても気にしない。教科書出版社に悪い教科書を作る動機はないが、教科書購入委員会が扱う分野の多さによって教科書を比較することも、四年生用の購入委員会と三年生用の購入委員会とが連携していないことも知っている。だから一冊の教科書にできるだけ多くの分野を詰め込む。教師は年度末までに教科書の四分の一も終えられず、翌年の教師はまた最初から始める。教師は不満を言うかもしれないが、意思決定者ではない。そして結局、危険にさらされているのは自分の将来ではないから、無給の利他行為にどこまで努力を払うかには厳しい限界がある……。

そのように見ると驚くべきことである。失われた情報と失われたインセンティブのすべてを考えれば、知識を得るという本来の目的が、わずかでも残っていること自体が驚異的である。とはいえ、現在の多くの教育制度は、無も同然よりさしてましではない状態へ崩壊しつつあるように見える。

問題が本当に解決されるのを見たいか? 政治家を学校に通わせればよい。

一人の人間の心なら、十数個の中間事象の条件付き確率を通じて流れる、効用の確率的な期待値を追跡できる。そこには、車のドアを開けることの期待効用がスーパーにチョコレートがあるかに左右されるといった、非局所的な依存関係も含まれる。しかし組織が今日報酬できるのは、今日測定でき、今日法的契約に書き込めることだけである。それは遠い帰結ではなく、中間事象を測定することを意味する。そしてその中間的な尺度自体が漏れのある一般化、それもしばしば大きな漏れのある一般化なのである。官僚は、願い主の価値観を共有していないので、信用できない魔法の精である。

宮本武蔵は言った。1

刀を手にしたとき第一に大切なのは、手段を問わず、敵を斬るという意図である。敵の斬りかかる刀を受け、打ち、飛び込み、打ち込み、または触れるときはいつでも、その同じ動きの中で敵を斬らねばならない。これを会得することが肝要である。打つこと、飛び込むこと、打ち込むこと、刀に触れることだけを考えていれば、実際に敵を斬ることはできない。何よりも、自分の動きを敵を斬るところまで運ぶと考え続けねばならない。このことを徹底的に研究せよ。

(読者の気分を害すことなく、何かを徹底的に研究せよとただ言える時代に私も生きていたかった。)

なぜ個人が剣術の闘いで目的を見失うのだろう? 戦い方を他人に教わり、その技法のすべてを自分の内から生み出したのでなければ、ある瞬間に刀を受け、別の瞬間に飛び込む理由を理解していないかもしれない。ルールに例外があるときに気づかず、いつもの方法では斬り通せないときを見逃すかもしれない。

認識論的合理性(epistemic rationality)という技法の要諦は、あらゆるルールが、その同じ動きの中でどのように真実まで斬り込んでいるかを理解することである。それに対応する実践的合理性の要諦、すなわち確率論に対する意思決定理論の要諦は、あらゆる期待効用が、どのように効用まで斬り込んでいるかを常に見ることである。これを徹底的に研究せよ。

C. J. Cherryhは言った。2

あなたの刀に刃はない。あるのはあなたの意図だけだ。それが道を外れたとき、あなたに武器はない。

私は、多くの人が想像上のAIという魔法の精に願いをかけるとき、道を外れるのを見てきた。自分にはよさそうに見える願いを次々と思い描き、ときには多くの継ぎ当てを施し、ときにはその慎重さのふりさえしない。そして彼らはメタレベルへ移ろうとしない。私を五歳で無神論への道に進ませた、目的を見るという本能が、彼らには働かない。彼らは、私が反射的に自問するように、「なぜ私はこの願いが良い考えだと思うのか? 魔法の精も同じように判断するだろうか?」と問うことがない。自分の判断を生成するものとして、その判断の背後に浮かぶ源を見ることがない。彼らはボールを見失う。ボールが弾んだことは知っているが、どこで弾んだのか、すなわち自分の判断を生成した基準を本能的に振り返って見ようとしない。

同じことは、自称利己的な人が利己主義を擁護するために利他的な議論をしたり、自称利他的な人が利他主義を擁護するために利己的な議論をしたりすることに、人々が自動的に気づかない場合にも当てはまる。

スーパーへの運転に関する目標追跡なら、それがすべて自分の頭の中に収まり、魔法の精も官僚制も哲学も関わらないとき、人は何の問題もなくこなせる。問題は、現実の文明がこれよりもはるかに複雑なことである。教室で苦しむ子供と、仕事が大してできない新卒社会人との間に、何十もの組織と何十年もの時間が介在する。(ただしその大卒者が忙しそうに見せるのが上手なら、面接官や管理職は彼の無能に気づくだろうか?)行動とその帰結の間に新しい連鎖が一つ入るたびに、意図には道を外れる機会がもう一度生じる。中間の連鎖が一つ増えるたびに、情報が失われ、インセンティブが失われる。そしてほとんどの人は、このことに私ほど悩まされていない。そうでなければ、なぜ私の同級生はみな、意味も知らずに祈りの言葉を口にできたのか? 彼らは生成元を見ようとする同じ本能を感じていなかったのだ。

人はボールから目を離さないことを学べるだろうか? 意図が道を外れないようにできるだろうか? 同じ動きの中で達成するより高い目標を知らずに、飛び込み、打ち込み、刀に触れることを決してしないでいられるだろうか? 他の条件が等しければ、人はしばしば自分の仕事をしたいと本当に思っている。健全な企業なるものはありうるのか? ひいては健全な文明さえ? それはまだ遠い夢にすぎないが、私がこれまでこれらすべて論考述べてきた意図の流れ(すなわち期待効用、すなわち道具的価値)において、目的失わない(すなわち効用、すなわち終端価値)ことについて言わんとしてきたのである。人は上位目標から下位目標への流れを感じ取ることを学べるだろうか? 期待効用と効用の区別を、暗黙のうちだけでなく意識的にも理解できるだろうか?

あなたは自分の文明を脅かすものを気にかけているか? 複雑な文明に対する最悪のメタ脅威は、文明自身の複雑さである。その複雑さが、多くの目的を見失わせるからである。

振り返ってみると、私の人生を何よりも強く動かしてきたのは、目的が見失われることへの人並み外れて強い嫌悪だったと分かる。それが学習可能な技能に変えられることを願っている。

Miyamoto Musashi, Book of Five Rings (New Line Publishing, 2003). ↩︎

Carolyn J. Cherryh, The Paladin (Baen, 2002). ↩︎