ニューカム問題と合理性への後悔

❦

次の問題は、意思決定理論の歴史で最も論争を呼んだジレンマかもしれない。

別の銀河から、オメガと呼ぶことにする超知能が地球へやってきて、奇妙なゲームを始める。人間を一人選び、目の前に二つの箱を置き、飛び去るのだ。

箱Aは透明で、1000ドルが入っている。

箱Bは不透明で、100万ドルが入っているか、何も入っていない。

二つとも取ってもよいし、箱Bだけを取ってもよい。

ただし、オメガが箱Bに100万ドルを入れるのは、あなたが箱Bだけを取ると予測した場合、かつその場合に限る。

これまで観察された100回では、オメガの予測は毎回正しかった。二つ取った人は皆、箱Bが空で、1000ドルだけを得た。箱Bだけ取った人は皆、Bに100万ドルが入っていた。（箱Bだけを取ると、箱Aは煙とともに消えるとしよう。後でほかの誰かが箱Aを取ることはできない。）

あなたが選ぶ前に、オメガは飛び去り、次のゲームへ向かっている。箱Bは、すでに空か、すでに金が入っているかのどちらかだ。

オメガがあなたの前の地面に二つの箱を置き、飛び去る。

二つとも取るか、それとも箱Bだけ取るか？

典型的な哲学上の会話は、こう進む。

一箱派：「もちろん箱Bだけ取る。1000ドルより100万ドルが欲しい」

二箱派：「オメガはもう去った。箱Bには、すでに金が入っているか、すでに空かのどちらかだ。箱Bが空なら、両方取れば1000ドル、箱Bだけなら0ドル。箱Bに金があれば、両方なら100万1000ドル、箱Bだけなら100万ドル。どちらの場合も、二つ取るほうがよく、1000ドルを残せば損だ。だから、合理的に考えて、二つとも取る」

一箱派：「そんなに合理的なら、どうして金持ちじゃないんだ？」

二箱派：「オメガが不合理な性向の人だけに報酬を与えるのは、私の責任ではない。今となっては、もうどうしようもない」

ニューカム型の問題には、膨大な文献がある。一般に特殊な場合とみなされる囚人のジレンマを含めれば、なおさらだ。『合理性と協力のパラドックス：囚人のジレンマとニューカム問題』1は、ニューカムの原論文を含む論文集である。オンラインでしか読まない人には、レドヴィヒの博士論文に、主要な標準的立場の要約がある。2

文献全体を取り上げるつもりはないが、現代の意思決定理論の支配的な合意は、二つの箱を取るべきで、オメガは不合理な性向の主体に報酬を与えているだけだ、というものだ。この支配的な見方を「因果的意思決定理論」と呼ぶ。

ここで私自身の分析を示すつもりはない。私の基準でさえ、あまりに長い話になる。

だが、ニューカム問題で一つの箱を取ると、事前に自分を拘束できるなら、そうすべきだという点は、因果的意思決定理論の支持者も認めている。オメガがあなたを調べる前に約束してしまえるなら、箱Bに金が入ることを、直接引き起こすからだ。

さて、私の分野は、念のため言えば自己改変AIだ。この分野でそれが意味するのは、ニューカム問題で二箱を取るAIを作っても、その状況に出会うかもしれないと前もって考えれば、一箱を取るよう自己改変する、ということだ。ソースコードへ自由にアクセスできる主体には、事前の約束を安く実現する方法がある。

問題の正確な形は知らなくても、一般にニューカム型の問題に出会うかもしれないと予想したら？ ニューカム型の問題で、一般によい報酬を得る性向を持つ主体へと、自分を改変しなければならないだろう。

だが、ニューカム型の問題に一般によく適した性向を持つ主体とは、どんなものか？ 形式的に指定できるだろうか？

できる。だが書こうとして、小さな本を一冊書き始めていると気づいた。それは書くべき本の中で最重要ではなかったので、棚上げした。書くのが遅いことは、本当に人生の悩みの種だ。私が考えた理論には、ニューカム型の問題に適するだけでなく、よい性質が多くあると思う。誰かが私の博士論文として認めてくれれば、よい博士論文になるだろう。だが、棚から下ろすには、それくらいのことが必要だ。そうでなければ、今の執筆速度では時間を割くことを正当化できない。

こう話すのは、「一箱を選ぶ言葉の議論は簡単だ。難しいのは、一箱を選ぶよい意思決定理論を作ることだ」という態度がよくあるからだ。ニューカム問題では一箱を選び、ほかのところで不条理な結果を出さない、整合した数学のことだ。それは理解しており、実際にその理論を作ろうとした。だが、大きな論文を書く速度が遅すぎて発表できない。信じてもらえるかどうかはともかく、本当だ。

それでも、ニューカム問題についての私の動機、新理論を探さずにはいられなかった理由の一部を示したい。それが、合理性に対する私の根底の態度を表すからだ。その動機から生まれた理論を、ここで示せなくても……。

第一に、何よりも、根本的に、ほかのすべてに優先して。

合理的主体は、勝つべきだ。

誤解してはいけない。合理主義者は利己的、近視眼的であるべきだという、ハリウッド流の合理性のステレオタイプを言っているのではない。効用関数に他人の項があるなら、彼らの幸せを勝ち取ろう。100万年後の項があるなら、その遠い未来を勝ち取ろう。

だがいずれにせよ、勝とう。理にかなった負け方をするのではなく、勝とう。

因果的意思決定理論を擁護する人には、二箱派も勝つために最善を尽くしており、不合理な者をひいきする予測者に呪われたのなら、どうしようもないと論じる人がいる。この擁護は後で扱う。だがその前に、二箱派が本当に勝つために最善を尽くしていると信じる因果的意思決定理論家と、二箱を取ることは理にかなっている、あるいは合理的だが、この場合はその理にかなった手が予測どおりに負けてしまうだけだ、と考える人を区別しておきたい。合理性はさまざまな問題で予測どおりに負ける、と思っている人は大勢いる。カークはスポックより強いと予測できる、というハリウッド的ステレオタイプも、それだ。

次に、オメガは不合理な者をひいきするという非難を考えよう。選択とは無関係に、特定の遺伝子を持って生まれた人だけに報酬を与える超越的存在なら想像できる。「選択肢を英語で記述し、アルファベット順で最後を選べ」という特定のアルゴリズムが脳に刻まれた人には報酬を与えるが、別の理由で同じ選択肢を選ぶ人には与えない存在も想像できる。だがオメガは、どのアルゴリズムで決定したかに関係なく、箱Bだけを取る人に報酬を与える。だから、不合理さへの報酬だという非難には納得しない。オメガは、特定の思考の儀式に従うかは気にしない。予測された決定だけを気にする。

好きな推論アルゴリズムを選べる。そのアルゴリズムが何を選ぶかによってのみ、報酬か罰が決まり、ほかの依存関係はない。オメガが気にするのは、どう来たかでなく、どこへ行くかだ。

自然は私たちのアルゴリズムを気にしない、という考えこそ、勝つ道を追う自由を与える。勝てるという信念以外には、特定の思考の儀式へ執着しなくてよい。勝つという規則以外は、どんな規則も見直せる。

宮本武蔵の言葉を、もう一度引用する価値がある。

長い武器でも勝てるが、短い武器でも勝てる。要するに一流の道は、武器が何であれ、長さがどうであれ、勝つという心にある。3

（別の例として、マギーは、有界な効用関数を採らなければ、無限の時間にわたる「ダッチブック」にさらされると論じた。だが、効用関数は変更の対象ではない。私は、限界も上限もなく生を愛する。0.0001%でグーゴルプレックス年生き、80%で永遠に生きる見込みより、80.0001%でN年生きるほうを好むような、有限の生の長さNはない。これだけで、効用関数が非有界である十分条件になる。だから私は、その道徳に沿って最適化する方法を考えるしかない。まず、何より特定の思考の儀式に従えと言い、次に、その儀式に従うならダッチブックを避けるため道徳を変えろ、と言われても従えない。負ける儀式を捨てよう。勝利の定義を変えてはいけない。それは、ニューカム問題でお気に入りの思考の儀式が悪く見えないように、100万ドルより1000ドルが好きだと決めるようなものだ。）

「だが」と因果的意思決定理論の支持者は言う。「一箱だけ取るには、自分の選択が箱Bの中身に影響すると、何らかの形で信じなければならない。それは道理に合わない！ オメガはもう去った！ 物理的に不可能だ！」

道理に合わない？ 私は合理主義者だ。道理に合わないことを、なぜ気にする？ 特定の思考の儀式に従う必要はない。オメガが去った後でも、自分の選択が箱に影響すると信じるから、箱Bだけを取らなければならない、というわけではない。ただ……箱Bだけ取ればよい。

この決定を計算する、別の思考の儀式の提案は持っている。ここに書くには余白が狭すぎるが。だが、それを見せる必要はないはずだ。目的は、優美な勝利の理論を持つことではない。勝つことだ。優美さは副産物である。

別の見方をしよう。まず理にかなった決定とは何かを定め、「理にかなった」主体が大金を持ち帰るか尋ねるのではなく、大金を持ち帰る主体を見ることから始めよう。どんな主体が最も多く持ち帰る傾向があるかの理論を作り、そこから「理にかなう」とは何か考えよう。「理にかなう」とは、今の思考の儀式に従う決定を指しているだけかもしれない。ほかに、何がそう見えるかを決めるというのか？

ジェイムズ・ジョイス（作家とは無関係）の『因果的意思決定理論の基礎』から引用する。4

レイチェルには、「なぜ金持ちではないのか？」への、立派な答えがある。「私が金持ちでないのは、あの心理学者が、お金を断るだろうと考える種類の人間ではないからです。アイリーン、私は単にあなたとは違うのです。私はお金を取るタイプだと自分で知っており、心理学者もそれを知っている以上、口座に100万ドルはないと思うのは妥当でした。何をしようと、得られるのは最高で1000ドルだった。だから私にとって理にかなった唯一の行動は、それを取ることだったのです」

アイリーンは、ここでさらに問い詰めたくなるかもしれない。「でもレイチェル、私のようだったらと思わないの？ 断るタイプだったらと願わないの？」。因果的意思決定理論を信奉するレイチェルは、これに否と答えなければならないと思われがちだ。それは明らかにおかしく見える。アイリーンのようなら金持ちになっていたのだから。だが、そうではない。レイチェルは、自分もアイリーンのようだったらと願うと認めてよいし、認めるべきだ。「断るタイプだったら、私にはそのほうがよかったでしょう」と認めてもよい。するとアイリーンは叫ぶだろう。「認めたわね！ やっぱり、お金を取るのは賢くなかったのよ」。残念ながら、その結論はレイチェルの前提からは導かれない。レイチェルは辛抱強く説明するだろう。ニューカム問題で断る人だったらと願うことと、どんなタイプであれ1000ドルを取るべきだと考えることは、矛盾しない。アイリーンのタイプだったらと願うとき、レイチェルが望んでいるのはアイリーンの選択肢であって、彼女の選択を是認しているのではない。

私に言わせれば、他人の単なる選択をうらやむことには決してならない、というのが合理性の一般原則だ。それは、私が合理性を定義する仕方の一部でもある。オメガが遺伝子に報酬を与えるなら、あるいは遺伝子が幸福な気質を与えるなら、他人の遺伝子をうらやむことはあるだろう。だが上のレイチェルがうらやむのは、アイリーンがどんなアルゴリズムで決めたかに関係なく、その選択だけだ。違うものを選ぶ性向があれば、とただ願っている。

他人より合理的だと言いながら、その人の選択だけをうらやむべきではない。うらやむ行為を、ただすればいい。

合理性は勝つ道だと繰り返し言っても、因果的意思決定理論の支持者は、二箱取るほうが本当に勝つのだと言い張る。1000ドルを残してよくなることなどありえないからだという。一箱派のほうが大金を持ち帰るにもかかわらず。この種の議論には気をつけよう。巨大な効用の山の上で今ほほえんでいる主体とは別の誰かを、「勝者」と定義している自分に気づいたら、特に。

確かに、ある主体が最初から有利な思考実験はいろいろある。だが、たとえば崖から飛び降りるか決める課題なら、飛び降りないという不公平な拒否のおかげで、飛び降りない主体が飛び降りる主体より不当に有利な出発点を与えられている、と定義しないよう注意したい。その時点で、勝利を特定の思考の儀式への服従と、ひそかに定義し直している。お金に注目しよう！

別の角度からも考えられる。ニューカム問題で、箱Bだけ取るのがまったく理にかなった合理的行動だと信じるための理由を、必死に探したくなるだろうか？ その議論があれば、箱Bだけ取って、中に金を見つけられるから。あと1時間考えれば、箱Bが合理的な選択だと自分を納得させられると確信できたら、その1時間を費やすだろうか？ これも、かなり奇妙な立場だ。普通、合理性の仕事は、どの選択が最善か見つけることであって、特定の選択が最善だと信じる理由を見つけることではない。

お金が実際に目の前にないかぎり、二箱を取る「べき」で、それが理にかなったことだと言うのは、簡単すぎるのかもしれない。哲学的ジレンマに、もう感覚が麻痺しているのかもしれない。娘が致死率90%の病気で、箱Aには20%の確率で治す血清、箱Bには95%の確率で治す血清が入っているかもしれないとしたら？ 小惑星が地球へ迫り、箱Aには10%の確率で機能する軌道変更装置、箱Bには100%機能する装置が入っているかもしれないとしたら？

そのとき、道理に合わない選択をしたい誘惑を覚えるだろうか？

箱Bにかかっているのが、置き去りにはできないものだったら？ 理にかなっていることより、圧倒的に大切なものだったら？ 勝利と定義されるだけではなく、本当に、絶対に勝たなければならなかったら？

箱Bだけを取るのが「理にかなった」決定であってほしいと、全身全霊で願うだろうか？

ならば、道理にかなうということの定義を、更新する時かもしれない。

合理主義者を名乗る人は、不合理とされる人の単なる決定をうらやむべきではない。自分は、好きな決定をできるのだから。そんな立場に気づいたら、自分の道理の概念に従わない相手を叱るのではなく、道を取り違えたのだと悟るべきだ。

同じように、「理にかなった」信念と、実際に真でありそうな信念を、別々に管理している自分に気づいたら、道理にかなうということを誤解しているか、二つ目の直感が単に間違っているかのどちらかだ。

もちろん、「合理性」を勝つ道と定義すると同時に、ベイズ確率論と意思決定理論だと定義することはできない。だが、勝利を支配する法則は実際に数学だったと判明してきた、というのが、私の論じること、そしてベイズを信頼せよという助言の教訓である。もしベイズが失敗し、単なる決定のせいで、より優れた代案より系統的に低い報酬しか得ない問題があるとわかったら、ベイズは窓から放り出さなければならない。「合理性」は、巨大な効用の山の上でほほえむ主体の道、勝つ道についての、私の信念につけた名にすぎない。現在、その名が指すのはベイズの技だ。

これが因果的意思決定理論を決定的に批判するものではないことは承知している。それには本や博士論文そのものが必要だ。だが、「合理性」という考えへの、私の根底の態度の一部を示せたならと思う。

［2015年追記：今は、因果的意思決定理論に優越する理論、「時間を持たない意思決定理論」を、一冊の本に相当する長さで書いた。5 暗号研究者ウェイ・ダイは、それに応えて、因果的意思決定理論にも時間を持たない意思決定理論にも優越する別案、更新しない意思決定理論を提案した。2015年時点で、最新の最もよい議論は、ダニエル・ヒンツェの「予測を伴うジレンマにおける問題クラスの優越」6と、ネイト・ソアレス、ベンヤ・ファレンシュタインの「理想化された意思決定理論に向けて」7にある。］

勝つ選択と理にかなった選択を、分けて考えるべきではない。理にかなった信念と、最も真でありそうな信念も、分けるべきではない。

だから私は「合理的」という言葉を、正確さと勝利についての自分の信念を示すために使う。言葉による推論、確実な成功をもたらす戦略、論理的に証明可能なこと、公に実証できること、あるいは道理にかなうことを指すためではない。

宮本武蔵が言ったように。

太刀を手に取るとき、何より大事なのは、どんな手段であれ敵を斬るという心である。敵の斬りかかる太刀を受け、打ち、はね、たたき、触れるとき、同じ動きで敵を斬らなければならない。これを会得することが肝要だ。ただ打つ、はねる、たたく、触れることだけを考えれば、実際に敵を斬ることはできない。