❦
合理性は、どこかの水準では単純なはずだと期待すべきだろうか？ 信念と選択の技の根底にある美しさを、探し、期待すべきだろうか？
この問題を紹介するために、今は亡き偉大なベイズの達人、E・T・ジェインズの不満を借りよう。1
二人の医学研究者が、別々の病院で、互いに独立に同じ治療を行う。どちらもデータの捏造などはしない。だが一方は、資源が限られているため、治癒した人数にかかわらず、n = 100人を治療したら終了すると、あらかじめ決めていた。他方は治療の有効性に自分の評判を賭けており、何人の患者が必要になろうと、治癒率が明らかに60%を超えると示すデータが得られるまで続けると決めていた。ところが実際には、両者はまったく同じデータ、n = 100［患者数］、r = 70［治癒数］で終了した。では、この二つの実験から異なる結論を引き出すべきなのだろうか？［おそらく二つの対照群も同じ結果だったのだろう。］
この問題のもっと詳しい説明として、Cyanが、マッケイのオンラインで無料公開されている優れた統計学の本の第37章を紹介してくれた。2
昔ながらの統計手順――今でも教えられていると思う――では、二人は異なる停止条件を持つ、異なる実験を行ったことになる。異なるデータで終了する可能性があったので、仮説に対する異なる検定であり、異なる統計分析が必要だというわけだ。一つ目は「統計的に有意」でも、二つ目はそうでないことが、十分ありうる。
このことに違和感を覚えるかどうかは、確率論、ひいては合理性そのものへの、あなたの態度を大いに物語っている。
非ベイズ派の統計学者なら、肩をすくめて言うかもしれない。「統計の道具は、どれも同じ長所と短所を持つわけではない。ハンマーとドライバーは違うだろう。異なる統計の道具を使えば、違う結果が出ることもある。同じデータで線形回帰を計算するか、正則化したニューラルネットワークを訓練するかで違うのと同じだ。その場に合った道具を使わなければならない。現実は入り組んでいるんだ――」
それに対するベイズ派の返答はこうだ。「何ですって？ 固定された実験方法から同じデータが得られたのに、証拠としての重みが研究者の内心に左右されるんですか？ それでよく、私たちを『主観的すぎる』と非難できますね？」
自然がある状態なら、私たちが見たようなデータが出る尤度は、ある値になる。別の状態なら、別の値になる。だが、自然のある状態が、私たちの見たデータを生む尤度は、研究者の内心の意図とは無関係だ。だから、自然についてどんな仮説を考えるにせよ、二つの実験で尤度比は同じで、証拠としての重みも同じ、事後の信念も同じであるはずだ。二つの旧式の方法が異なる答えに至るためには、少なくとも一方が関連する情報を捨てているか、単に間違った計算をしていなければならない。
ベイズ主義者と、あの忌まわしい頻度主義者の古い戦争は、何十年も前にさかのぼる。この記事で、その古い歴史を語り直すつもりはない。
だが、中心的な対立の一つは、ベイズ主義者が確率論に期待するものだ。何という言葉がよいだろう……「整然さ」？ 「すっきりしていること」？ 「自己整合性」？
ジェインズが言うように、ベイズ確率論の定理は、その名のとおり、整合した証明体系の中の定理である。どんな導出をどんな順序で使っても、結果は常に整合しているはずだ。すべての定理が、ほかのすべての定理と両立する。
10+10の和を知りたければ、(2 × 5) + (7 + 3)と書き換えても、(2 × (4 + 6))と書き換えても、ほかの好きな正当な手法を使ってもよい。だが、答えはいつも同じ、この場合は20にならなければならない。一方で20、他方で19になるなら、少なくともどちらかで、許されないことをしたと結論してよい。（算術なら、許されない操作はたいていゼロによる除算だ。確率論なら、たいていは有限の過程の極限として取られていない無限大である。）
19 = 20という結果が出たら、今した間違いをしっかり探そう。算術そのものを吹き飛ばした可能性は低いのだから。もし誰かが、ベイズ確率論から本物の矛盾を導けたなら――たとえば、同じ実験方法で同じ結果なのに、証拠として二つの異なる影響が出るなら――建物全体が崩れ去る。集合論も道連れだ。ZFが確率論のモデルを与えることは、かなり確かだと思うからである。
数学！ 探していた言葉はそれだ。ベイズ主義者は、確率論が数学であることを期待する。だから私たちは、コックスの定理と、その多くの拡張に関心を持つ。ある制約に従う不確実性の表現は、どれも確率論に対応しなければならないと示すものだ。整合的な数学はすばらしいが、一意な数学なら、なおよい。
それでも……合理性は数学であるべきなのか？ 確率が美しいはずだというのは、決して当然の結論ではない。現実は入り組んでいる。それに対処するには、推論も入り組んでいる必要があるのでは？ 場当たり的な手法と正当化を大量に持つ非ベイズ派の統計学者のほうが、道具箱が確実に大きいぶん、確実に有能なのかもしれない。問題がすっきりしているのはうれしいが、普通はそうではない。それを受け入れて生きるしかない。
結局、ベイズ的な計算は計算量の点で手に負えないため、多くの問題にベイズ的方法を使えないのは周知の事実だ。ならば、いろいろな花を咲かせればよいのではないか？ 道具箱に複数の道具を入れてはいけないのか？
そこが考え方の根本的な違いだ。旧来の統計学者は、個別の問題に投入する工夫、つまり道具として考えていた。ベイズ主義者、少なくとも私の場合は――私だけの考えではないと思うが――法則として考える。
法則を探すことは、とりわけ整然として美しい道具を探すことではない。熱力学第二法則は、とりわけ整然として美しい冷蔵庫ではない。
カルノーサイクルは理想的な熱機関だ。実際、まさに理想の熱機関である。二つの熱源で動くどんな熱機関も、カルノー機関より高い効率にはできない。その系として、同じ二つの熱源の間で動く熱力学的に可逆な機関は、すべて同じ効率になる。
だがもちろん、現実の車をカルノー機関で走らせることはできない。実際の車のエンジンがカルノー機関に似ている程度は、タイヤが完全な転がる円柱に似ている程度と同じだ。
では明らかに、カルノー機関は現実の車を作るための道具としては役立たない。熱力学第二法則は、ここには適用されないのは明らかだ。現実にそれに従うエンジンを作るのは、難しすぎる。熱力学など無視して、うまくいくものなら何でも使えばいい。
古いやり方に今も固執する人々の間を支配しているのは、こういう混乱なのだと私は思う。
たしかに、どんな問題でも正確なベイズ計算ができるわけではない。近似を求めなければならないこともある。実際、多くの場合そうだ。だが、それは確率論が適用されなくなったという意味ではない。747の空気力学を原子ごとに計算できないからといって、747が原子でできていないことにはならないのと同じだ。どんな近似を使っても、理想的なベイズ計算を近似する程度に応じてうまくいき、そこから離れる程度に応じて失敗する。
ベイズ主義の整合性と一意性の証明は、両方向に効く。コックスの整合性公理、あるいはその多くの定式化し直しや一般化に従う計算が、必ず確率へ対応するのと同じように、ベイズ的でないものは、どれかの整合性テストに失敗するはずだ。すると、ダッチブックのようなしっぺ返しを受ける余地が生まれる。必ず損をする賭けの組み合わせを受け入れたり、必ず得をする組み合わせを断ったりすることだ。
最適な答えは計算できないかもしれない。だが、どんな近似を使っても、その失敗と成功はどちらも、ベイズ確率論で説明可能なはずだ。あなたが説明を知らないことは、説明が存在しないことを意味しない。
では、ベイズ更新をする代わりに線形回帰を使いたい？ だが、線形回帰の根底の構造を見ると、ガウス型の尤度関数と、パラメーターについての一様な事前分布のもとで、最良の点推定を選ぶことに対応しているとわかる。
実際にはそのほうがうまくいくので、正則化した線形回帰を使いたい？ それは、重みにガウス型の事前分布を持たせることに対応する、とベイズ主義者は言う。
ベイズ的方法を文字どおりには使えないこともある。実際、しばしばそうだ。だが、手に入る知識を一片残らず使う正確なベイズ計算ができたなら、それで終わりだ。もっとよい答えを出す統計手法は、決して見つからない。ほとんどいつでも非常によく働く、安上がりな近似なら見つかるかもしれない。それは安上がりだが、より正確ではない。別の手法が、ベイズ計算に入れることを許していない知識を、隠れた事前情報などの形で使っているのでないかぎりは。そして、その事前情報をベイズ計算へ入れれば、再びベイズ計算が同等か、それ以上になる。
場当たり的な、しかし往々にして非常に興味深い正当化に支えられた、旧式の場当たり的な統計の道具を使うなら、明日もっと巧妙な道具を誰かが思いつくかどうかはわからない。だが、ベイズの法則をそのまま反映する計算を直接使うことができれば、それで終わりだ。車にカルノー熱機関を積めたようなものである。いわゆる「ベイズ最適」なのだ。
私には、道具箱を重視する人々は、立方数の列{1, 8, 27, 64, 125, ...}を見て、その第1階差{7, 19, 37, 61, ...}を指し、「ほら、現実はいつもすっきりしているわけじゃない。状況に適応しなければ」と言っているように思える。一方、ベイズ主義者は、第3階差という根底の安定した水準、{6, 6, 6, 6, 6, …}を指している。批判者は言う。「いったい何の話だ？ 7, 19, 37であって、6, 6, 6じゃない。複雑な問題を単純化しすぎだ。単純さにとらわれすぎている」
表面の水準では、必ずしも単純ではない。安定したものを見つけるには、もっと深く潜る必要がある。
道具ではなく法則として考えよう。法則の近似を計算する必要があっても、法則は変わらない。飛行機はやはり原子でできており、空気力学の計算のために自然が設けた特例に従うわけではない。近似があるのは地図の中であって、領土の中ではない。熱力学第二法則を知ったうえで、技術者として、不完全な自動車エンジンの製作に力を注ぐことはできる。第二法則が適用されなくなるわけではない。法則とカルノーサイクルの知識は、理想の効率へできるだけ近づく助けになる。
私たちがベイズ的方法に魅了されるのは、ただ美しいからではない。美しさは副産物だ。ベイズの定理が優美で、整合的で、最適で、一意であると証明できるのは、それが法則だからである。