❦
「忍耐せよ。」これは、実に多くの分野の、実に多くの高い達成者から聞く助言である。私は最初、まったく理解していなかった。
初め私は、「忍耐」とは1日14時間働くことを意味すると思っていた。世の中には、技術職で10時間働き、それから食事、睡眠、用便の合間にある空白の余暇をつかんで、本を書く作業に充てられる人がいるらしい。私はそういう人間ではない――それを告白するのは、今でも自尊心が痛む。私は重要なものに取り組んでいる。ならば脳は1日14時間を投じる気になってしかるべきではないか？ だが、ならない。働き続けるのが難しくなりすぎると、私はやめて、何かを読んだり見たりする。そのため何年もの間、自分には「忍耐」という美徳が完全に欠けていると思っていた。
人間の本性に従って、エリエザー1998はこんなことを考えた。「重要なのは投入量ではなく産出量だ。」あるいは「怠惰も美徳である――失敗する方法から退き、より良いやり方を考えるよう導いてくれる。」あるいは「私は、より長い時間働いているほかの人よりうまくやっている。創造的な仕事では、1日16時間働くことより、瞬間的な最高産出量のほうが重要なのかもしれない。」著名な科学者たちは、「勤勉は美徳だ」という深遠なる知恵に誘惑されたのだろうか。それが知性より価値が低かったなら、あまりにひどいから？
AIを巡る自分の旅を振り返り、ほとんどすべての重要な問題の難しさを過大評価していたと気づくまで、私は忍耐の美徳を理解しなかった。
狂って聞こえるだろう？ だが少し付き合ってほしい。
初めてAIへ挑むと決めたとき、私は40年という時間尺度、マンハッタン計画、惑星規模の計算ネットワーク、何百万人ものプログラマー、そしておそらくは増強された人間という観点で考えた。
これはAI未来論でよくある失敗様式で、後に書くかもしれない。「これを解く方法が分からない」から「何か本当に巨大なものを投じると想像しよう」へ飛躍することからなる。想像したとき、その想像が、問題と釣り合うほど強烈な印象の感覚を生み出すに足る、巨大な何かである。（現在AIメーリングリストには、AIには1000兆ドルかかると言って回っている人物がいる――1000兆ドルを使わずにAIを得ることはできないが、1000兆ドルを使えばいつでもAIを得られるという。）その結果、明らかに不可能な「知性を理解する」という要求を満たそうとせず、自分はAIを解く方法を知っていると想像できる。
そこで初め、私も同じ誤りを犯した。知性を理解していなかったので、問題へマンハッタン計画を投じるところを想像した。
だが、地球規模の死亡率を年5500万人、1日15万人と計算した私は、振り返って、大きく恐ろしい問題から怯えたウサギのように逃げはしなかった。代わりに、どのようなAI計画ならもっとも早くそこへ到達できるかを考え始めた。知能爆発を1時間早められるなら、爆発前の一生を投資するのに妥当な収益だった。（この時点では、実存的リスクや友好的AIという観点で考えていなかった。）
だから大きく恐ろしい問題から怯えたウサギのように逃げず、自分にできることがないか確かめるため留まった。
面白い歴史的事実がある。1998年、私は自己改善型AI、すなわち「シードAI」（この語を作る名誉にあずかった）の作り方を提案する長い論文を書いていた。後に機械知能研究所の創設資金提供者となるブライアン・アトキンスは、HypermartをGo2Netへ売却したばかりだった。ブライアンは私へメールを送り、私が記述したこのAI計画は、妥当な規模のチームが出ていって実際に実行できるものかと尋ねた。「いいえ」と私は答えた。「マンハッタン計画と30年が必要です。」そこでしばらくの間、代わりに新しいドットコム企業を立ち上げ、AIについて本物の仕事をするための資金を作ることを検討していた……
1、2年後、この新奇な「オープンソース」とやらを聞いた後で、小さな組織にもできる予備的な開発作業――新しいコンピューター言語など――があるように思えた。そうしてMIRIが始まった。
もちろん、この戦略は完全に誤っていた。
それでも、「今できることは何もない」から「ふむ……初期版が十分多くの人に役立つなら、オープンソース開発を通る漸進的な道があるかもしれない」へ移った。
これは太古の昔の話なので、どれも良い考えだったとは言っていない。だが、自分が何をしようとしていると思っていたかという観点では、1年の創造的思考によって、見かけの経路が短くなった。問題は、初めて取り組んだときよりわずかに不可能でなく見えた。
もっと興味深いパターンは、私が友好的AIへ入ったときにある。当初、友好的AIはまったく検討したことがなかった――正しい行動方針について超知能を欺くのは、明らかに不可能で無益だったからだ。
こうして歴史的に、私は「不可能」な問題を完全に無視する状態から、単に極端に難しい問題へ取り組む状態へ移った。
当然、これによって私の総作業量は増えた。
知性を精密な水準で理解しようとしたときも同じである。当初はこの問題を不可能として切り捨て、作業量から取り除いていた。（振り返ると、この論理はかなり錯乱しているように見える――自然がプロジェクト要件を書くとき、あなたに何ができないかなど気にしない――だが、AI関係者がそれを試すのを今でもいつも目にする。）自分へ精密な基準を課すことは、以前想像していたより多くの作業を注ぐことを意味した。だが同時に、それほど昔でもない時点なら完全に不可能だと退けていた問題へ取り組むことも意味した。
AIの個々の問題は、時間とともに威圧感が減ったように見える。それでも登るべき山全体の高さは増した――まさに通説がそうなるはずだと言うとおり――問題が「不可能」一覧から外され、「やること」一覧へ入ったからである。
ほかのAI関係者が同じことをするのに気づいた時点で、何が起きているか、そして「忍耐せよ！」が本当は何を意味するかを、私は理解し始めた。彼らは、明らかに解けそうな問題――この種の問題としては比較的まっすぐな問題――に「不可能だ！」と言っていた。だがそれらは、私が初めて問題へ取り組んだ時点なら、はるかに威圧的に見えたはずのものだった。
そして「不可能」という言葉には二つの用法があると気づいた。
- 指定された公理を条件とする、不可能性の数学的証明。
- 「それをする方法が一つも思いつかない。」
言うまでもなく、私自身が「不可能」という言葉を使った場合はすべて、第二の種類だった。
ある領域を理解していなければ、その領域の多くの問題は不可能に見える。脳へ解決経路を問い合わせても、nullを返すからだ。だが神秘的な問いはあっても、神秘的な答えは決してない。その領域に1、2年取り組み、もし袋小路にはまらず、もし進歩に必要な生来の能力水準を持っていれば、理解は深まる。問題の見かけの難しさは大きく下がるかもしれない。初心者だった自分にとってほど恐ろしくはなくなる。
そしてこれは、もっとも威圧的に見える混乱した問題で、とりわけ起こりやすい。
恒星が燃える過程についてある程度の観念を持っているため、恒星を一から作るのは容易でないと分かる。歯車を理解しているため、既知の物理学に従う歯車の集合は永久機関を形成できないと証明できる。これらは、不可能をなす練習に適した問題ではない。
ある領域について混乱していると、その中の問題は非常に威圧的で神秘的に感じられ、脳への問い合わせは解決策0件という結果を返す。だが混乱が晴れたとき、どれだけの作業が残るかは分からない。もちろん、混乱を解消すること自体が非常に難しい課題かもしれない。しかし、それとの関連で「不可能」という言葉を使うべきではまずない。混乱は領土ではなく地図の中に存在する。
だから、不可能な問題へ数年取り組み、袋小路を避けるか、そこから這い上がることができ、生来の能力が進歩に十分高いなら、いやはや、数年後には結局それほど不可能に見えなくなるかもしれない。
だが何かが不可能に見えれば、試みない。
今度こそ、それは悪循環である。
「40年とマンハッタン計画」が、単にもっと早く始めるべきだという意味になるほど、十分に突き動かされた心構えでなければ、私は試みなかっただろう。問題へこだわり続けなかっただろう。そして威圧感を減らす機会を得なかっただろう。
私は通常、反対方向のバイアス同士が互いを打ち消せるという理論の支持者ではないが、ときには運よくそうなる。もし最初から山全体が見えていたなら――問題は自らを改善できるシードを作ることではなく、証明可能に正しい友好的AIを生み出すことだと最初から理解していたなら――おそらく私は炎を上げて燃えていただろう。
それでも、AGI研究者の大半をなす、平均以上の科学者を理解することの一部は、たとえ40年かかっても、ほとんど不可能な問題へ取り組むよう駆り立てられてはいない、と理解することだ。概して彼らがそこにいるのは、そのような途方もない難しさなしで、わずか5年で問題を解ける〈AIへの鍵〉を見つけたからである。
リチャード・ハミングは同僚の科学者へ、二つの問いを尋ねて回った。「あなたの分野で重要な問題は何か？」そして「なぜそれに取り組んでいないのか？」
重要な問題はしばしば、巨大で、恐ろしく、威圧的に見える。年10本の論文を約束してはくれない。どんな進歩も約束してくれない。1年、5年、10年取り組んでも、何の報酬も得られないかもしれない。
そして珍しくないことに、自分の分野でもっとも重要な問題は不可能である。だから、意識の還元主義的分解に取り組む哲学者をもっと多く見かけない。
不可能をなそうと試みるのは、明らかに万人向けではない。並外れた才能は、テーブルへ着くための参加料にすぎない。チップはあなたの人生の年月である。そのチップを賭けて失うことが耐えがたい可能性に思えるなら、何か別のことをしよう。本気で言っている。あなたは実際に負けうるからだ。
「重要な教訓を得られるから、誰もが人生で少なくとも一度は不可能なことをすべきだ」のようなことを言うつもりはない。ほとんどの人は常に、そしてすべての人はたいてい、可能なことに留まるべきである。
決して諦めるな？ 馬鹿げたことを言ってはいけない。不可能をなすのは、ごく特別な機会だけに留めるべきだ。いつ希望を失うべきかを学ぶことは、人生で重要な技能である。
だが人生を浪費するよりさらに悪いと想像できるものがあるなら、30枚のチップより重要な望みがあるなら、あるいは不便な人生より恐ろしいものがあるなら、不可能へ挑む理由があるかもしれない。
困難を通じて忍耐することには多くの長所がある。だが、それについて言わなければならないことの一つは、実際に物事を困難なままにするということだ。それに耐えられないなら、近づいてはいけない！ 華やかさと尊敬を得るには、もっと容易な方法がある。誰にも、これを読んで不必要に、永続的に困難な人生へ真っ逆さまに飛び込んでほしくはない。
だが結論を言えば、重要な問題へ取り組むために必要な「忍耐」には、1日14時間働くことを超えた構成要素がある。
自分について気づくものと気づかないもののパターンは奇妙である。この選択性は、必ずしも自己像を膨らませることに関係しない。ときには単なる顕著性の問題である。
働き続けることは私にとって絶え間ない闘いだったので、顕著だった。1日14時間ぶっ通しでは働けないことに気づいた。「忍耐」が秒や年の時間尺度にも当てはまるかもしれないとは思いつかなかった。試したくないものは何でも即座に「不可能」と宣言する人々を見るまでは。あるいは、「5年」ではなく数十年かかりそうな仕事へ取り組むのを、彼らがどれほど嫌がるかを見るまでは。
そのとき、「忍耐」が複数の時間尺度に当てはまると気づいた。秒の時間尺度では、忍耐とは「困難の最初の兆候で即座に諦めないこと」である。年の時間尺度では、忍耐とは「不便で、ほかの場所ならより高い個人的報酬を得られるとしても、狂気じみて難しい問題へ取り組み続けること」である。
非常に難しいこと、または「不可能」なことをなすには、
まず逃げてはならない。それには数秒かかる。
次に働かなければならない。それには数時間かかる。
それから、やり抜かなければならない。それには数年かかる。
このうち、第一は散発的ではなく確実にできるよう学ばなければならなかった。第二は今でも私にとって絶え間ない闘いであり、第三は自然にできる。