Yudkowsky Sequences 日本語訳
非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

ベイズ主義者対野蛮人

Bayesians vs. Barbarians

前回までの話

二つの兵士集団があるとしよう。集団1では、兵卒は戦術も戦略も知らず、軍曹だけが戦術について何かを知り、士官だけが戦略について何かを知っている。集団2では、あらゆる階級の全員が、戦術と戦略をすべて知っている。

集団1は命令に従う一方、集団2では全員が、与えられた命令よりも優れた考えを思いつくので、集団1が集団2を破ると予想すべきだろうか。

この場合、集団2が軍事理論を本当はどれほど理解しているのか疑わざるをえない。協調しない群衆は虐殺されるというのは、初歩的な命題だからだ。

合理主義者の国が、確率論も決定理論も何一つ知らない、〈邪悪な野蛮人〉の国に攻撃されたとしよう。

さて、「合理性」や「合理主義」について、次のように語るであろう、ある種の見方がある。

「明らかに、合理主義者は負ける。野蛮人は、勇気を示せば報われる死後の生を信じている。だからためらいも後悔もなく戦いへ身を投じるだろう。〈大義〉や〈偉大な指導者ボブ〉をめぐる感情的死の螺旋のおかげで、戦士は命令に従い、故郷の市民は戦争のため熱心に全力で生産する。くすねたり、力を出し惜しんだりして捕まった者は、野蛮人の伝統に従って火あぶりにされる。互いの善良さを信じ、正気の人ならありえないほど強く敵を憎み、それによって緊密な集団へまとまる。一方、合理主義者は戦死しても考えられる報酬は何もないと悟る。ほかの人に戦ってほしいと願うが、自分では戦いたがらない。兵士を見つけられたとしても、民間人はそれほど協力的ではないだろう。どれか一つのソーセージを取っても、戦争遂行全体の崩壊にはほぼ確実につながらない限り、そのソーセージを自分のため取っておこうとし、できるほど多くは貢献しない。もともとの文化がどれほど洗練され、優美で、文明的で、生産的で、非暴力的であろうと、野蛮人の侵略には抵抗できない。正気の議論は、銃を持ち、口から泡を吹く狂人にはかなわない。最後には野蛮人が勝つ。彼らは戦うことを望み、合理主義者を傷つけることを望み、征服することを望み、社会全体が征服を中心に団結しているからだ。正気の人ならありえないほど強く、それを気にかけている」。

戦争は楽しくない。記録に残る歴史の夜明け以来、実に、実に多くの人が見いだしてきたように。記録に残る歴史の夜明け以前にも、実に、実に多くの人が見いだしたように。そして今この瞬間にも、国内の苦悶がもはや一面記事にさえならない、どこかの悲しい小国で、どこかの共同体が見いだしているように。

戦争は楽しくない。戦争に負けるのは、さらに楽しくない。そして古代から「平和を欲するなら、戦争に備えよ」と言われてきた。相手は、あなたが勝つ、征服すると信じる必要はない。だが、攻撃しても割に合わなくなるほどの抵抗をすると信じなければならない。

そこで分かるだろう。「合理主義者」が戦争で常に負ける運命に本当にあるのなら、良心に従う限り、私は「合理性」を公衆に広く採用するよう唱えられない。

これはおそらく、私がここで論じたか、論じる予定の中で、最も汚れた主題である。戦争は清潔ではない。現在のハイテク軍――ここでいうのは米軍である――は、敵へ向けられる圧倒的に優越した戦力という点で独特であり、それによって歴史上異例なほど敵兵や民間人の死傷を気にかけることができる。

戦争に勝つことは、常に道徳をすべて投げ捨てるという意味ではなかった。拷問を使わずに勝った戦争もある。戦争が楽しくないからといって、たとえば大統領へ疑問を呈することが非愛国的になるわけではない。私たちは「戦争」が悪事の言い訳として利用されることに慣れている。近年の米国史では、ほとんどまさにそのために利用されてきたからだ……。

だが愚かさの反対は知性ではない。悪の反対も知性ではない。本物の戦争には、洗練された礼儀正しさで勝つことはできない、というのはやはり真実である。「合理主義者」がその精神的衝撃に備えられなければ、野蛮人が本当に勝つ。そして「合理主義者」は……「負けて当然だ」とは言いたくない。だが自分たちの社会が存在できるかという試験に失敗したことになる。

まず、理想的な合理的エージェントは一人ひとりが兵士より民間人でいることを好むので、原理上、戦争を戦えないという考えから片づけよう。

すでにかなり詳しく論じたように、私はニューカムの問題で一箱を選ぶ

一貫して私は、ある選挙が十万票対九万九千九百九十八票で決着したとき、「私が家にいても結果には影響しなかった」から、投票所へ行く労力を費やした有権者は全員非合理的だった、とは信じない。(その選挙が十万票対九万九千九百九十九票になったなら、十万人が全員、個人として結果に単独で責任を負うとも信じない。)

一貫して私はまた、二つの合理的AIが(私の種類の決定理論を使い)、効用関数がまったく異なり、異なる作り手に設計されたとしても、互いのソースコードを共有知識として持っているなら、真の囚人のジレンマで協力すると考える。(あるいは、適切な意味で互いの合理性だけを共有知識として持つ場合でさえ。)

一貫して私は、協調しない場合より(確率的な期待)結果がよくなるときはいつでも、合理的エージェントは集団計画で協調できると信じている。私の種類の決定理論を用い、その事実を共有知識として持つエージェントの社会は、ナッシュ均衡ではなくパレート最適へ行き着く。すべての合理的エージェントが、降伏するより戦うほうが得だと合意するなら、降伏せず野蛮人と戦う。

集団としては降伏より戦いを好むが、個人としては戦うより民間人でいることを好む、自己改変AIの共同体を想像しよう。一つの解決策は、どのエージェントにも予測不能なくじを引き、戦士を選ぶことである。くじを引く前に、すべてのAIがあらかじめコードを変更し、選ばれた場合には、共同体にとって可能な限り最も効率的な方法で戦士として戦うようにする――それが、自分の死へ冷静に行進することを意味するとしても。

(反省的に一貫した決定理論も、自己改変を伴わないだけで、同じように働く。)

あなたは答える。「だが現実の人間世界では、エージェントは完全に合理的ではなく、互いのソースコードを共有知識として持ってもいない。あなたの決定理論によれば、囚人のジレンマで協力するには特定の条件が必要であり(それを書くには、この余白は狭すぎる)、その条件は現実では満たされない」。

私は答える。純粋で真の囚人のジレンマは、現実では信じられないほどまれである。現実には通常、波及効果があり、行動は評判へ影響する。現実では、大半の人が、ほかの人に起きることをある程度気にかける。そして現実には、インセンティブ機構を設ける機会がある。

そして現実に、人間の合理主義者の共同体は、共同体を守るため死をいとわない兵士を生み出せると、私は本当に思う。学校で子どもに、理想的な合理主義者は囚人のジレンマで互いに裏切るものだ、と教えない限りは。人々が個人として兵士にならないと決めたり、兵士が逃げると決めたりすることは、野蛮人を勝たせると決めることと同じだ、という信念を広く持たせよう――そして私は、ニューカムの問題で一箱を選ぶのとまったく同じ理由で、それを信じている。選挙が十万票対九万九千九百九十八票で決まったとき、一人ひとりの有権者が「私の票は何も変えなかった」と言うのは筋が通らない、という同じ理論によって。効用関数は独我論的である必要はなく、守るものを充分に気にかけるなら、合理的エージェントは死ぬまで戦える、と言わせよう(それは真実だからだ)。合理主義者なら道理に従って負けると予想すべきだ、とは教えないようにしよう。

これが合理主義社会の文化と慣習なら、その社会の普通の人間が兵士に志願するだろう、と私は思う。何といっても、それも人間に組み込まれているらしい。文化的訓練が邪魔をしないようにするだけでよい。

では私が間違っていて、それでは充分な志願兵が得られないなら?

その場合も、人々が全体として降伏より戦いを好む限り、インセンティブ機構を設け、〈真の囚人のジレンマ〉を回避する機会がある。

誰が戦士に選ばれるか、くじ引きを行える。先ほどの、AIが自分のコードを変更する例のようなものだ。ただし「反省的に一貫せよ。事前にコミットするはずのことを行え」というだけでは、人間にくじの結果へ従わせるため充分な動機にならないなら……。

……そう、実際にくじを引く前に、選ばれた人へ勇気を増す薬物を与え、逃げれば撃つのがよい考えだと、おそらく全員で合意できる。自分自身がくじで選ばれるかもしれないと考えてさえである。くじを引く前には、これが生存の期待を最大にする一般方針だからだ。

……すでに言ったとおりだ。本物の戦争=楽しくない。戦争に負ける=もっと楽しくない。

ちなみに明確にしておくが、私は現在行われているような徴兵制を支持しているのではない。そのような徴兵制は、民衆がナッシュ均衡からパレート最適へ移ろうとする集団的試みではない。徴兵は、玩具の兵士を必要とするゲームを行う王の道具だ。カナダへ逃れたベトナム戦争の徴兵対象者は、正しかったと私は考えている。だが自分たちは王に従うには賢すぎると思う社会も、生き延びるには賢すぎる必要はない。野蛮人の大群が侵攻し、野蛮人が徴兵を行う場合でさえ。

合理的な兵士は命令に従うだろうか。指揮官が間違えたらどうなる?

兵士は行進する。全員の足が、同じ律動で地面を踏む。人は放っておけば皆それぞれ違う速さで歩くだろうから、ひょっとすると自分の好みに反してさえである。人間でできたレーザー。それが行進だ。

大尉が命令を下すより優れた何らかの集団意思決定法を考案できるなら、合理的な兵士の中隊はその手続きを実装してもよい。大尉より優れていると立証された方法がないなら、合理的な兵士の中隊は、それぞれの好みに反してさえ、大尉へ従うことにコミットする。そして人間がそれほど合理的でないなら……くじを引く前、生存の個人的期待値を最大にする一般方針は、命令に背く兵士を撃つことである。これはベトナムで自分の士官を殺傷した者が間違っていたという意味ではない。彼らは誰にも徴兵のくじへ参加してほしくないという選好を、一貫して持ちえたからだ。

だが協調しない群衆は虐殺される。ゆえに、放っておけば四方八方へ行進してしまうとしても、同じ目標を追求し、全員が同じ時に同じことを行う何らかの方法が兵士には必要である。命令は優越した部族長のような大尉から来るとは限らないが、統一された命令はどこかから来なければならない。兵士が賢すぎて命令に従わない社会は、賢すぎて生き残れない社会である。人々が賢すぎて兵士にならない社会と同じだ。だから私は「合理的」ではなく「賢い」と言う。「賢い」は私がしばしば非難の語として使う言葉である。

(もっとも、指導者を置くより現実の実践で本当に優れて働く、小集団の協調法を考案できるかは、重要な問いだと思う。人々が集団意思決定法を信頼できるほど――一人ひとりが自分の道を行くより本当に優れていると信じられるほど――命令違反へ強制可能な罰がなくても、さらに一貫して行動できる。)

合理主義者が近いうちに国を支配するとは決して予想していないのに、私がこれをすべて述べるのは、「私たちのような人々」の社会について信じることが、私たちが自分自身をどう考えるかを多少映すと思うからだ。自分のような人々の社会は、道理をわきまえすぎて長期的に生き残れないと信じるなら……それは一つの種類の自己像である。一方、自分と同じ人ばかりの社会が、残忍な〈邪悪な野蛮人〉と戦って勝てると思うなら、それは別の種類の自己像である。優れた技術のおかげだけではなく、人々が互いを、そして集団としての社会を気にかけているから――戦争の現実に向き合いながら自分自身を失わずにいられるから――集団合理的に行うべきことを計算し、確実に実行させるから――確率論にも決定理論にも、大義のため自分を犠牲にしてはいけないという規則はないから――本当に敵より賢く、そう言って自分をおだてているだけではないなら、敵が考えることを自ら禁じている盲点を利用できるはずだから――そして、敵が戦闘前にどれほど自分を煽り立てても、内部で分裂していない一貫した精神なら、ひょっとすると瞑想や自己催眠に似たものを実践することで、理論上は七十二人の処女が待っていると信じる人と、現実の実践で同じくらい激しく戦えるかもしれないと思うからである。

そうなれば、集団で活動する自分や自分のような人々へ、もっと多くを期待する。そして自分を、文化的な袋小路を超えた何かと見なせる。

そこでこのように見てみよう。ジェフリーズ師なら、〈邪悪な野蛮人〉と一人で戦っていても、おそらく諦めない。ベイズ使いの達人から成る軍隊全体なら、誰も手を出そうとしない戦力であるべきだ。それが意欲をかき立てる展望である。問題は、それが正確にはどのように機能するかだ。