Yudkowsky Sequences 日本語訳
非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

安全な守りはない——科学でさえ

No Safe Defense, Not Even Science

私は友人に子ども時代のことを尋ねない——社会的好奇心に欠けている——ので、これが実際にどれほど一般的な傾向なのかは知らない。

私の知る、合理主義者として高みを目指している人々のうち、自分の子ども時代について自発的に情報を話す人々からは、「家族がカルトに入り、私はそこから脱出しなければならなかった」とか、「親の一人が臨床的に精神を病んでおり、その狂気から現実をより分けることを学ばなければならなかった」といった話を、驚くほどよく聞く。

正統派ユダヤ教徒の家族で育った私自身の経験は、比べれば穏やかに思える……しかし、同じ結果をもたらした。周囲の人々の正気に対する、私の核心的な感情上の信頼を壊したのである。

この核心的な感情上の信頼が壊れるまで、合理主義者として成長し始めることはない。なぜそうなのか、私はうまく言葉にできない。身につける非凡な技能——あなたを並外れて合理的にするもの——は何であれ、他人がザグするとき、あなたがジグすることを必要とするのかもしれない。世界がまだ正気の場所に思えるなら、それはただ恐ろしすぎるのかもしれない。

あるいは、普通であることが死ぬほど恐ろしくなければ、追加ボーナス分だけ正気になるための厳しい努力をわざわざしないのかもしれない。

志ある合理主義者の多くが、人体冷凍保存や多世界解釈のようなところで障害にぶつかるように見えることは知っている。論理を理解しないのではない。論理を理解したうえで、「今となってはこれほど明白に思えるのに、周りの誰も信じていないものが、本当に真実でありうるのか?」と疑問を抱くのだ。

ありうる。エタノールがトウモロコシから作られ、環境保護主義者が原子力へ反対する地球へようこそ。残念なことだ。

カルト的な反カルト性も参照せよ。不安になって安心を求める心境へ行き着くのは、決してよいことではない——論理的に聞こえるが、信じれば他人から変な目で見られるかもしれない何かを、信じようとしているからだとしても。)

周囲の人々の正気に対する信頼を壊された者は、奇妙な考えを、その奇妙さに不安を感じず、長所そのもので評価できるように見える。現在地へ彼らを結びつけていた接着剤が溶け、どこかの方向へ——願わくは前へ——歩けるようになる。

私はそれを孤独な異論と呼んだ。真の異論は、黒い服を着て学校へ行くようには感じない。道化師の衣装で学校へ行くように感じる。

周囲の全員が「個人であり、自分の意見を形成するのはよいことだと、靴のCMが教えてくれた」と考えているなか、「誰が選挙に勝つか本当にわかると思うなら、Intrade予測市場のただのお金を、なぜ拾わないのか?」と言う孤独な声になるには、それが必要である。

もっと正気な人類のいる別の世界、エヴェレットの別の分岐では、事情が違うかもしれない……しかしこの世界で、合理主義者として成長し始める前に、群れの知恵と感情上で深く決別しなかった人を、私は一度も見たことがない。

別の世界なら、事情が違うかもしれない。あるいは違わないかもしれない。人間が現実に、信頼すると同時に考えることができるのか、私には確信がない。

昔、私にも信頼するものがあった。

エリエザー18は科学を信頼していた。

エリエザー18は、科学の社会的過程に欠陥があることを従順に認めていた。エリエザー18は、学界は遅く、資源を誤配分し、えこひいきをし、大切な異端者を冷遇することを従順に認めていた。

理想に及ばなかった人々の欠陥を認めることの便利な点は、理想そのものを疑わずに済むことだ。

しかし、「どの仮説が勝つかは実験的方法が決める」という命題を疑うほど愚かな者が、いったいどこにいるだろうか?

エリエザー18を惑わせたものの一部は、彼が抱えていた一般的な問題、愚か者が言ったことに似た考えへの嫌悪だった。エリエザー18は、科学そのものの理想へ疑問を呈する者を大勢見てきたが、例外なく全員が暗黒面にいた。科学の理想を疑う人々は、必ずいんちき薬を売ろうとしているか、お気に入りの愚行を批判から守ろうとしているか、自分が個人的に諦めたことを、無益さに対する「深遠なる賢明な」受容に偽装しようとしていた。

もし数世紀の歴史を持つ別の理想があれば、若きエリエザーはそれを見て、「これは本当に正しいのだろうか、そしてもっとうまくやる方法があるだろうか」と言ったはずだ。しかし科学の理想については違った。科学は考えを支配する考え、考えを変えることを可能にする考えだった。それを疑うことはできたが、疑ってから受け入れることが期待されており、実際に「待て! これは間違っている!」と言うことは期待されていなかった。

そのため、昔、愚かな考えを思いついたとき、それが新しい予測を持つことを確かめ、実験で検証したいと公言すれば、有徳に振る舞っていると思った。義務づけられたことはすべて行ったと思った。

そこで私は、自分が安全だと思った——何らかの外的脅威から安全というのではなく、親を信頼し、その親の規則すべてに従った子どものように、より深い階層で安全だと思った。

家族や学校の教師の正気に対する信頼は、はるか前に壊されていた。他の子どもたちは、本と交わせる会話に匹敵するほど知的でなかった。しかし本は信頼していた、わかるだろう。リチャード・ファインマンに言われたとおりにすれば、安全でいられると信じていた。その言葉を声に出して考えたことは一度もないが、そう感じていた。

エリエザー23が、愚かな理論がどのように愚かだったかを正確に理解したとき——伝統的合理性は彼をそれから救わなかったと気づいたとき——そして、愚かな考えを検証して十年を無駄にしても、その後で間違いだったと認めさえすれば、科学はまったく問題にしなかっただろうと気づいたとき……。

……まあ、巨大な感情的痙攣が起きたなどと言うつもりはない。私はその種の劇的展開を好まない。ただ、自分が愚かだったことが明白になった。

私があなたの中で壊そうとしているのは、その信頼である。あなたは安全ではない。決して。

科学でさえ、あなたを救えない。科学の理想は、確率論や認知バイアスについて誰も何も知らなかった、何世紀も前に生まれた。科学があなたへ要求するものは少なすぎる。善意をあまりに容易に祝福し、十分に厳格でない平均的な科学者が従える命令しか出さず、遅さを人生の事実として受け入れる。

だから、科学の規則に従うだけで、自分の推論を擁護可能にできるとは思ってはいけない。

従えば自分の推論を擁護可能にできる、既知の手順はない。

満たせば自分は愚か者ではなかったとわかる、既知の命令の集合はない。

最善を尽くして従えば、それによって批判から守られるとわかる、既知の推論の道徳はない。

そう、ベイズ技法へ頼っても同じだ。それは使うのがはるかに難しく、正しく使えているか決して確信できない。

ベイズ技法という学問は、科学という学問よりはるかに若い。教科書も、高齢の指導者も、成功と失敗を記した歴史も、定められた明快な規則も見つからないだろう。認知バイアス、確率論、進化心理学、社会心理学、他の認知科学、人工知能を学ばなければならない——そして、自分を修正する場合へこの知識すべてを適用する方法は、まだ教科書にないため、自分で考え抜かなければならない。

自分の心が本当は何をしているのか、あなたは知らない。毎週新たな認知バイアスが発見され、それを補正できたのか、過剰に補正したのか、決して確信できない。

形式数学を適用することは不可能である。ジョン・Q・非信者が思うほど容易に破綻するわけではないが、その基礎がどこから来るか、本当のところ決して確信できない。なぜ宇宙は理解できるほど単純なのか、なぜ何らかの事前確率が宇宙に対して機能するのか、あなたは知らない。自分の事前確率が何なのかさえ知らず、それが優れているかはなおさらわからない。

科学の問題の一つは、あまりに曖昧なので、あなたを本当に怖がらせられないことだ。「考えは実験で検証されるべきだ。」これのどこで間違えられるというのか?

一方、確率論の数学が目の前に広げられており、さらに悪いことに、それを実際には使えないと知っているなら、困難なことを試みており、それを間違って行っているかもしれないと明らかになる。

だから、信頼することはできない。

そして、ここで私が述べたすべては、あなたの信頼を壊すのに十分ではないだろう。それが起きるのは、「規則」を破ったのではなく従ったために、本当の災難へ初めて陥ったときである。

エリエザー18はすでに、科学を疑ってもよいという考えを持っていた。もちろん、科学的方法そのものも疑問から免除されてはいない! 私たちは皆、優れた合理主義者ではないのか? あらゆるものを疑ってよいのではないか?

エリエザー18が、現実に可能だと感情の底では信じていなかったのは、科学に現実の生活で実際に従って、惨めに失敗することだった。

もちろん彼は、それが可能だと言った。エリエザー18は「私が間違っているかもしれないが……」と言い、誤りの可能性を従順に認めていた。

しかし、ご存じ、現実の生活で失敗が起きうるとは思っていなかった。欠陥を探すべきだが、実際に見つけることは想定されていなかった。

そして、この感情上の違いを言葉で生み出すのは恐ろしく難しい。私が本当にあなたへ警告する方法はないのでは、と恐れている。

ここや他の本で学んだことをすべて適用し、行けるところまで進み、それも自分を裏切ったとわかるまで——今なお自分が愚か者であり、誰も警告してくれなかったとわかるまで——受けた指針から最も重要な部分がすべて抜け落ちていたとわかるまで——従った最も大切な理想の一部が、自分を間違った方向へ導いたとわかるまで——あなたの信頼は壊れない。

——そして、なお守るべきものを持ち、進み続けるほかなく、諦めて合理性の限界を賢明に認めることができないなら——

——そのとき、合理主義者として旅を始める準備が整う。唯一の責任を引き受け、信頼できる守りを何一つ持たずに生き、かつて教わったものより高次の「技芸」を鍛える準備が。

親に裏切られ、神々が死に、道具が手の中で砕け散るまで、誰も本当に「道」を探し始めない。

追伸:本稿の草稿を見直したとき、推論にかなり弁解不能な欠陥があり、しかも導かれた結論の一つへ実際に影響することを発見した。私はそれを残している。私の助言に従えば安全になると思ったかもしれないから。または、欠陥を探すべきだが、一つも見つけてはならないと思ったかもしれないから。

そしてもちろん、欠陥をあまりに懸命に探し、本当の欠陥でない欠陥を見つけ、自分がいかに批判的であるか安心するためそれへしがみつけば、以前より悪い状態になるだけだ……。

困難なのは、不確実性とともに生きること——欠陥があり、それは深刻で、自分はまだ見つけていないと、腹の底で知ること——である。