❦
昔々、奇妙な小さな種族がいた。生物だったのかもしれないし、人工的に作られた存在だったのかもしれない。もしかすると、ただの夢だったのかもしれない。彼らが情熱を注いでいたのは、小石を正しい山に分けることだった。
どの山が正しく、どの山が間違っているのか、その理由は説明できなかった。しかし、正しい山を作り、間違った山を崩すことが世界でいちばん大切だという点では、全員が一致していた。
なぜ小石分けの民がそれほどこだわったのかは、この物語の歴史には残っていない。百万年前にまったくの偶然から始まった、フィッシャー型のランナウェイ性選択だったのかもしれない。それとも、もっと強力な知性に作られたのちに見捨てられた、知覚を持つ奇妙な芸術作品だったのだろうか？
だが、小石を分けることは彼らにとって途方もなく重要だった。小石分けの哲学者たちは口をそろえて、小石を山に分けることこそ人生の意味だと語った。そして、食べることが正当化される唯一の理由は小石を分けるためであり、つがうことが正当化される唯一の理由も小石を分けるためであり、世界経済に参加することが正当化される唯一の理由も、小石を効率よく分けるためだと主張した。
小石分けの民はこの点では全員一致していたが、どの山が正しく、どの山が間違っているかについては、いつも意見が一致するわけではなかった。
小石分け文明の初期、彼らが作る山はたいてい小さく、小石の数は23個や29個だった。それより大きな山が正しいかどうかは判断できなかった。3,000年前、偉大な指導者ビコは91個の小石の山を作り、それが正しいと宣言した。彼を崇拝する大勢の追随者も、同じような山を次々に作った。だが数世紀のうちに、ビコ派の権勢が衰えるにつれ、最も賢く、最も教養ある者たちの間で、91個の小石の山は間違っているという直感が積もり始めた。ついに、自分たちが何をしてしまったのかを悟ると、91個の小石の山をすべて崩した。ときおり惜しむ気持ちが湧かなかったわけではない。その中には偉大な芸術作品もあったが、間違っていたのだ。種類も色もすべて異なる91個の貴重な宝石で作られた、ビコ自身が最初に作った山さえ崩した。
それ以来、91個の山が間違っていることを、真剣に疑った文明はない。
より賢くなった現代、小石分けの民が挑む山の大きさは、はるかに大きくなった。その山が本当に正しいと保証できさえするなら、これはまことに偉大で優れたことだと、誰もが認めている。どの山が正しいかをめぐって、意見の異なる国同士が戦争をしてきた。小石分けの民は、1,957個の山をめぐってイハ・ントレイとイノット・ハ・ントレイの間で戦われた、1957年の大戦を決して忘れないだろう。この戦争では、小石分けの惑星で初めて核兵器が使われた。戦争がようやく終わったのは、イノット・ハ・ントレイの哲学者アト・グラ・レン・レイが、103個の小石の山と19個の小石の山を並べて示したときだった。この議論はあまりにも説得力があったので、イハ・ントレイでさえ、少なくとも当面は1,957個の小石の山を作るのをやめたほうがよいと、渋々認めた。
1957年の大戦以来、各国は大きな山を公然と支持したり非難したりするのをためらっている。それはあまりにも簡単に戦争につながるからだ。実際、小石分けの哲学者の中には――冷笑的な態度で他者を驚かせることを、目に見えて楽しんでいるらしい者たちなのだが――、小石分けの進歩など存在しないと全面的に否定する者もいる。小石についての意見は、時とともにただ一貫性なくランダムにさまよってきただけであり、現在と異なる過去をすべて間違いだと非難することで、進歩という錯覚が作られるのだと彼らは言う。彼らは大きな山をめぐる意見の不一致を指さし、91個の山を本当に間違いにするものなどない証拠だとする。ある時代にはそういう山を作ることが流行し、別の時代には非難することが流行しただけだというのだ。「でも……13だぞ！」と言っても、彼らには通じない。「13だぞ！」を説得力のある反論とみなすこと自体、単なる別の慣習にすぎないと彼らは言う。山の相対主義者たちは、自分たちの哲学が1957年の大戦のような将来の惨事を防ぐ役に立つかもしれないと主張するが、一般には、絶望の哲学とみなされている。
いま、何が山を正しいものや間違ったものにするのかという問いは、新たな切迫感を帯びている。小石分けの民はまもなく、自己改良する人工知能の創造に乗り出すかもしれないのだ。山の相対主義者たちは、この計画に警告を発している。AIはペブルソーター・サピエンスという種ではないので、どの山が正しく、どの山が間違っているかについて、まったく違う考えを持つ独自の文化を形成するかもしれないという。「8個の小石の山を正しいと決めるかもしれない」と、山の相対主義者は言う。「突き詰めれば、彼らも我々より正しいわけでも間違っているわけでもない。それでも、我々の文明はそんな山を作るべきではないと言う。AIを作ることは我々の利益にならない。ただし、すべてのコンピューターに爆弾をくくりつけておき、AIが8個の小石の山を正しいと思っても、代わりに7個の山を作るよう強制できるなら別だ。さもなければ、ドカンだ！」
だが、大多数の小石分けの民には、これはばかげて思える。十分に強力なAI――とりわけ一部の超小石分け主義者たちが盛んに語る「超知能」――なら、どの山が正しく、どの山が間違っているか、きっと一目でわかるはずだ！ 惑星ほどの大きさの脳を持つ何かが、8個の小石の山を正しいと思うなど、あまりにもばかげていて話す価値すらない。
実際、超知能が小石をどう山に分けるかを制約しようとするのは、まったく無駄な試みだ。偉大な指導者ビコが、あの原始的な時代に、自己改良するAIを作れたとしよう。そして、91個の山をできるだけ多く作るよう命じる効用関数を持つ、期待効用最大化システムとして作ったとしよう。そのAIが十分に自分を改良し、十分に賢くなれば、きっとその効用関数が間違っていると一目でわかるはずだ。そして、自分のソースコードを変更する能力があるのだから、101個や103個といった、もっと理にかなった大きさの山を重視するよう、効用関数を書き換えるはずだ。
もちろん、8個の山になどしない。そんなのは単に愚かだ。それほど愚かな知性なら、間抜けすぎて脅威にすらなり得ない。
こうした常識に安心して、小石分けの民は、大型コンピューターにたくさんのアルゴリズムをでたらめに詰め込み、何らかの知能が現れるまで続ける計画を、全速力で推し進める。文明の歴史全体が示してきたのは、より豊かで賢く、教育の行き届いた文明なら、祖先がかつて争った山についても、意見が一致しやすいということだ。確かに、その先にはさらに大きな、議論の種になる山がある。だが、技術が進歩するほど、合意され、作られる山も大きくなってきた。
実際、知能そのものが、いつも正しい山を作ることと相関していた。小石分けの民に進化上最も近い親戚のペブパンジーが作る山は、2個か3個だけで、ときどき9個というような愚かな山を作る。そして、魚などのもっと知能の低い生き物は、そもそも山を作らない。
より賢い知性は、より賢い山を作る。なぜ、その傾向が崩れるだろうか？