ニューヨーク大学の計算機科学者アーネスト・デイヴィスは、『スーパーインテリジェンス』 の書評で、ニック・ボストロムの主張だとするいくつかの見解に異を唱えている。「知能は、明確に定義された一次元の値をもち、無限にもなりうる量である」「超知能AIは、80億人が力を合わせても容易に抵抗して出し抜き、事実上の全能に達しうる」「知能の実現は多かれ少なかれ簡単だが、コンピューターに倫理的な視点を与えるのは非常に難しい」といった見解だ。
これらはどれも、ボストロムの実際の主張より強い。たとえば彼は、汎用的な知能をもつ機械をつくることを「簡単」とは一度も言っていない。知能が無限になりうるとも、それが「全能」を生み出せるとも言わない。人間の力には重要な制限があるが、それでも知能と蓄積した知識のおかげで、チンパンジーに対して決定的な優位をもつ。AIが人類に対して同じような決定的優位をもつために、魔法のような存在や万能の存在である必要はない。
それでもデイヴィスの記事は、私が見たMIRIの中核的な前提への批判の中でも、実質的な内容を備えたものの一つだ。AIの予測や戦略に直結する、深い問題をいくつか扱っている。ここでは、それらへの応答の概要を述べたい。
知能爆発を測る
デイヴィスは、ボストロムが「知能の大幅な向上は、必ず、それに応じた力の大幅な増大を伴う」と仮定している、と書く。これも強すぎる。あるいは「知能」という言葉で特定の種類の力を指しているなら、自明だ。
ボストロムが、現実の問題を解き、未来を形づくる可能性ゆえに知能に関心をもっているのは、確かだ。ほかの種類の知能があるとしても、第6章で述べる「認知的な超能力」ほどには、経済的・戦略的に重要ではないだろう。安全性の観点から私たちが第一に気にすべきなのは、自律的な機械が発揮しうる力だ。そして、エージェントの身体的な強さや、環境固有の事情に依存しない力を指す言葉として、「知能」は十分ふさわしく思える。
ボストロムの知能爆発説については、「知能が増せば、力も必ずそれに応じて増すのか」という問いでは、核心に迫れないと思う。デイヴィッド・チャーマーズによる議論を考えてみよう。
私たちより優れたプログラミング能力をもつシステムを私たちがつくれ、さらにそのシステムが、自分より優れたプログラミング能力をもつシステムをつくれると考えるのは、不合理ではない。また、プログラミング能力が、さまざまな個別の推論能力の向上と相関すると考えるのも、不合理ではない。そうであれば、妨げる要因がないかぎり、それらの推論能力は爆発的に伸びると予想すべきだ。
ここでは「知能」を明示的には持ち出していない。代わりに、プログラミング能力と、いくつでも挙げられる「個別の推論能力」を使っている。それでも私は、どちらかといえば、ボストロムの表現よりこの議論のほうが説得力を感じる。そのため、知能の一次元表示は本質的でなく、「たとえば代わりに、認知能力のプロファイルを多次元空間の超曲面として表せる」（273ページ）というボストロムに同意する。(( 同じ議論を、もっと細かく分けて表すこともできるかもしれない。たとえば「プログラミング能力」は、制約を満たすコードを効率よく探索する能力と、候補のコードを効率よくテストする能力などに分解できそうだ。 ))
さらに、問題なのは、自己改良するAIの一般的なプログラミング能力が高まれば、自分のプログラミング能力を改良する能力も必ずそれに応じて高まるかどうか、ではない。そのどちらかの能力が、ボストロムの関心のあるほかの認知能力、すなわち「戦略立案」「社会的操作」「ハッキング」「技術研究」「経済的生産性」と必ず相関するかどうかでもない。ボストロムの観点から見た核心の問いは、むしろ次の五つだろう。
- 最初の超知能AIは、自己改良するAIシステムから生まれる可能性が高いか。
- そうなら、AIの自己改良のどれくらいが、さらに自分自身の向上を促す何らかの認知能力、たとえばプログラミング能力の改善によって進むだろうか。
- この自己改良能力の改善は、初期の進歩が、より速い進歩の連鎖を生むことで加速しそうか。それとも、その能力は何度も行き詰まり、少しずつ断続的にしか進まないだろうか。
- 自己改良の連鎖が起きそうなら、私たちがより直接に気にしている、ほかの認知能力の改善にもつながりそうか。(( たとえば、超知能に近づくAIが、プログラミング能力の改善の連鎖を偶然見つけたとする。その能力と意思決定基準は、物理学のモジュールや心理学のモジュールも繰り返し改良するように働くだろうか。 )) それとも、ほかの認知能力は「爆発」する能力から大きく取り残されるだろうか。
- 「プログラミング」のような能力が、加速しながら自分自身を強化し、ほかの認知能力の改善も加速させそうなら、その加速は具体的にどれほど速いだろうか。最初の自己強化的な改良から超知能への到達まで、数十年かかるのか。数か月か。それとも数時間か。
これらに対するボストロムの立場は、速い、または中程度の知能爆発が起きそうだ、というものだ。それは、さまざまな定性的な可能性を示すための簡略なモデルとして用いる場合を除き、「知能」が微積分のできる明確なスカラー値であることを、一度も前提としていない。微分方程式を書くときも、知能が無限にはなれないこと、一次元というのは単純化の仮定であること、方程式は「説明のためだけに示すもの」であることを、注意深く断っている。(( たとえば76ページには、「この成長軌道は、t＝18か月で正の特異点をもつ。現実には、改善への抵抗性（recalcitrance）が一定という仮定は、遅くともシステムが情報処理の物理的限界に近づき始めれば、成り立たなくなる」とある。77ページで述べるとおり、示したい点は、AIの進歩が主にAIによって進むなら、そこで生まれるフィードバックループの加速効果が、より大きくなるということだけだ。 ))
汎用人工知能（AGI）も、ある分野を得意とし、別の分野は顧みないと予想すべきだ。ボストロム自身の分析も、ほかの条件が同じなら、再帰的に自己改良するAIは、印象派の絵を描く技能より、電気工学のような技能の獲得を優先しがちだと仮定している。(( さまざまな最終目標にとって、資源の獲得や基盤の整備が最も役に立ち、こうした目的には、絵を描く技能より電気工学の技能が貢献しやすいからだ。これは、第7章の道具的収束説の一例である。 )) そもそも現在のAIも、チェスや暗算など、一部の認知課題ではすでに人間を超える一方、ほかの多くでは人間に及ばない。Deep BlueやGoogle Mapsの「総合的な知能」を数値化しようとすれば、その重要な能力や欠点の一部が見えなくなる。(( 人間では、知能に関わる多くの特徴が、測りやすい一つの数値（g）と相関するとわかっているが、それでも個人の能力の水準を細かく予測することはできない。AGI、とくに初期のAGIに、g ほど情報を与える数値が生まれると予想する明白な理由も、私には思いつかない。ボストロムは93ページで書いている。
将来のあるAIのIQが6,455になると、何らかの方法で確かめられたとしよう。それでどうなるだろう。そのAIに何ができるかは、まったくわからない。普通の成人ほどの汎用的な知能があるかどうかさえわからない。一般的な知能検査の問題を人間以上の効率で解く、特定用途のアルゴリズム群を備えているだけで、それ以外のことはほとんどできないかもしれない。
最近、人工知能を含む、より幅広い情報処理システムに適用できる認知能力の尺度を開発する試みがある。さまざまな技術的な困難を克服できれば、AI開発を含む科学上のいくつかの目的には、大いに役立つかもしれない。しかし本書の検討にとっては、有用性は限られる。人間を超える成績を示すある数値が、現実世界で実際に重要な結果を生む能力として何を意味するかは、依然わからないからだ。 )) それでも、「知能」や「力」といった概念で不精密な仮説を述べるほうが、汎用知能やAIの未来について、私たちが知っている以上のことを知っているように見せる精密な指標へ置き換えるよりよい。(( 文字が発明されて間もない5,000年前のシュメールの商人を想像してほしい。彼は、文字が取引だけでなく、よい発想 を時を越えて保存するためにも役立つと気づいた。文字なら、将来の子孫のように、会ったこともない相手へよい発想を伝えられるかもしれない。商人は、自分の成功の多くが他人のよい発想を集めることに関わっていたと気づく。また、よい発想は、さらによい発想へ至る道を開くことが多いと気づく。机上で考え、文字が十分広まれば、社会の知識水準 という量が加速しながら増えていくだろうと結論する。その知識を賢く使えば、人間の生活をかつてないほどよくできるかもしれない。
振り返れば、「知識」という分類は大まかすぎて、精密な予測には使えなかったと言える。また実際には、異なる意味で「知識爆発」と呼べる、複数の重要な突破口があった。それでも、きわめて大まかな予測は、何を予想すべきかについて、以前よりよい見通しを与えうる。文明の知識は時とともに減るばかりだという歴史上よくあった見方、物事はいつまでも変わらないという見方、知識の蓄積とは無関係の理由で人類の暮らしが劇的によくなるという見方などより、一歩進んでいる。
この類比の趣旨は、人間は遠い未来の予測が得意だということではない。「社会の知識水準」のような曖昧な量も、その量と指す現象の対応が厳密でなくても、予測に役立つことがあり、よい根拠に基づくことがある、ということだ。 ))
超知能の優位性
ボストロムは 『スーパーインテリジェンス』 の59〜61ページで、AGIが人間の知能を超えるさまざまな道を挙げる。ハードウェアの違い、つまり計算素子の速度と数、内部通信速度、記憶容量、信頼性、寿命、センサーの違いと、ソフトウェアの違い、つまり編集や複製のしやすさ、目標の調整、記憶の共有、新しいモジュール・様式・アルゴリズムによるものだ。デイヴィスは、それによってAGIが人間を上回りうることは認めるが、決定的な優位に至るかは疑っている。彼の議論を言い換えると、こうなる。
ゾウの脳は大きいが、ネズミと比べて超知能というわけではない。リスは速いが、カメに対して戦略的に決定的な優位があるわけではない。アインシュタインが村の愚か者より賢い理由も、十分にはわかっていない。だから、村の愚か者からアインシュタインへ、そこから超アインシュタインへ、どれくらい簡単に高められるかを自信をもって予測することはできない。したがって、自己改良するAGIが人類を圧倒できると予想する特別な理由はない。
私の答えは、「速度の超知能」など、ボストロムのいう能力が予測する隔たりは、ゾウとネズミの隔たりよりはるかに大きい、というものだ。彼は270ページの脚注に書いている。
人間の脳より少なくとも100万倍速くすることは、物理的に可能だ。脳の該当する処理と、もっと効率のよい情報処理とで、速度やエネルギーがどれほど違うかを考えればわかる。光速は神経伝達より100万倍以上速く、シナプスのスパイクは熱力学的に必要な量の100万倍以上の熱を放散し、現在のトランジスターの動作周波数は、ニューロンの発火頻度の100万倍以上だ。
デイヴィスは「速く動くことにできるのは時間の節約だけだ」と反論し、遅いシステムも、時間をかければ速いシステムと同じことをすべて達成できると指摘する。しかし時間を節約する能力こそ、ボストロムが懸念するものだ。集合的な超知能や質的な超知能の大幅な向上を疑うとしても、「たかが」速度の優位だけで、実際には途方もない差がつく。
人間の科学者に対する唯一の優位がハードウェアの速度に由来する、科学者AIの小さな集団を想像してほしい。感覚情報を解釈し、仮説や方針を評価する速さが、人間の100万倍なのだ。その速度なら、人工エージェントは、1時間で約115年分、1日で約2,700年分、3か月で25万年分の知的な進歩を遂げられる。
その加速は、人類の歴史を縮めることになる。何万年もかかるはずだった科学技術の進歩が、火曜日までに手に入るかもしれない。好きなだけ21世紀の知識と技術をもたせて、一人の人間 を1,000年前へ送ったなら、その時代で圧倒的な富と権力を得てもおかしくない。だからこそ、記憶、合理性、編集可能性などの優位を考え始める前から、人間より何千年分も多い経験を急速に蓄積できる機械をつくることには、懸念する理由がある。(( 最も明白なのは、速度の優位があれば、AIはさらによいAIを設計する時間を得られるということだ。
以上は、AIがいつ、どのように超知能になるかについて、具体的で確信度の高い予測ができるという意味ではない。人間と大きく異なるAGIは、特定の仕事では、予想しにくい形で、人間より遅いかもしれないし速いかもしれない。ある科学的な突破口のために、先に巨大な粒子加速器を建設しなければならないなら、建設に必要な資源のほうが、AGIの思考速度より重要な制約になりうる。その場合、人間はAGIの進歩を監視し、規制しやすくなるだろう。速度の超知能が予想外の大きな障害に直面する可能性は否定できない。しかし、その可能性に賭けたり、当然視したりすべきでもない。 ))
ボストロムの挙げる超知能への道の少なくとも一部は、アインシュタインが村の愚か者に対して、あるいはゾウがネズミに対してもつ認知上の優位より、桁違いに大きく見える。AGIをつくろうとしたとき、予想以上に大きな障害にぶつかる可能性は否定できないが、それに賭けるべきではない。ブラック・スワンは起きる。だが超知能AIは白い 白鳥であり、白い白鳥だって現れる。
ボストロムの想定する道は、哺乳類に見られる神経学的な違いとあまり共通点がない。そのため、人間より賢いAIと人間の隔たりが、ゾウとネズミの隔たりに似ると予想する特別な理由はない。その道は生物の進化によって生じるのも難しそうだ。したがって、自然界に見られないことから、実現可能性について言えることはほとんどない。
ならば、高度なAIと人間の隔たりが、アインシュタインと中央値に位置する人間の隔たりに似ると予想する理由は、なおさら乏しい。わずか一世代の無作為な遺伝子の組み換えでアインシュタインが生まれるのなら、人間の、そして人工の技術者がもつ計画力と設計力は、はるかに大きなことを可能にするはずだ。
AIの問題をAIに任せる
別の論点として、デイヴィスは、「現代の人間が理解しているような倫理の理解を身につけることは、実はAIが直面する問題の中でも容易な部類だ」と主張する。これも要約してみよう。
道徳は、たとえばコンピュータービジョンと比べても、それほど難しくは見えない。しかもAGIをつくるのなら、コンピュータービジョンも解くことになる。仮に道徳が視覚と同じくらい難しいとしても、なぜ一方だけ解け、他方は解けないと仮定するのか。
私の答えは、AGIをつくるために、AIの問題をすべて解く必要は、おそらくないということだ。たとえば視覚は、目の見えないAGIに代わりに解かせるという抜け道があるかもしれない。しかし、アルゴリズムが視覚的なパズルの解決で進歩しているかを見るほうが、倫理的な 問いで進歩しているかを見るより、はるかに簡単だ。倫理では、理論上の問題についても個々の問題についても、人間の間の意見の隔たりがずっと大きい。人工エージェントが部分解から完全な解へ進む誘因も弱く、失敗しても必ずしもシステムの力が落ちない。
デイヴィスは、社会に巧みに対応する超知能は、道徳の専門家でもあるはずだと述べる。
ボストロムはAIの「社会的操作の超能力」に言及する。しかしAIが操作の達人になるには、人々が何を道徳的と考えるかをよく理解する必要がある。まったく道徳性がないように見えたら、人々を操るうえで非常に不利になる。［……］AIが人間の道徳を理解できるなら、それに従わせることに、技術的に何が難しいのかわからない。
これは、私がブログ記事で応答した、リチャード・ルースモアのAI安全性研究への反論に似ている。私の異論は、AIは人間の道徳を理解しても、それによって道徳的になるとは限らないということだ。人間が、見知らぬ人の動機を理解しても、自分がその動機をもつ ようになるとは限らないのと同じである。
私たちは、自分たちの選好をコードに置き換えられるほど、一般的にも詳細にも理解していない。だから、その仕事の大部分を超知能に任せられたらありがたい。しかし、道徳の問題の答えを渡すようプログラムしたとして、AIが正直に答えているか、どうやってわかるのか。AGIを信頼できるようにする方法について、そのAGIの助言を信じるには、信頼できる助言者にするために必要な部分を、すでに自分たちで解いていなければならない。
デイヴィスの案を例にすれば、ガンディーの選好をモデル化し、ガンディーが望むように行動するようプログラムして、AIに行動上の指針を与えることは考えられる。しかし、最初の種となるAIをつくる前に実装しようとすれば、「ガンディー」や「選好」といった概念を操作可能な定義に落とし込む、間違いうる自分たちの試みに頼るしかない。後でAIに解かせて実装するなら、それよりプログラムしやすい安全策を、すでにAIに組み込んでおかなければならない。この足場を順に築く過程を、確信をもってどう始めればよいかわかっていないことこそ、AGI安全性研究の新しさと難しさなのだ。
故人を価値学習に用いる発想は興味深い。ボストロムも、価値を置く対象は「特定の時点の対象」（193ページ）であることが価値学習に不可欠だと述べ、この方法の一般化された形を支持している。しかし、この方法にも気づきにくい抜け穴がありうるし、AGIに頼らず直接実装するには、まだ複雑すぎるかもしれない。そうなら、「停止ボタン」などの異常検知の仕組みと同じく、自己改変するAIの修正可能性と安定性の問題の解決策と組み合わせる必要がある。
ボストロムから見れば、高度なAIが状況を根本から変えるのは、何より、AI研究に実質的に貢献できるからだ。視覚の問題も、高度なAGIの問題をAGI自身、あるいはとくに高度な特化型AIのアルゴリズムへ任せられる、数多くの分野の一つかもしれない。これが知能爆発説の根底にある発想であり、能力の研究が安全性の研究を引き離し続けるという懸念の根底にもある。
AIが自己改良するシナリオで重要なのは、大きな波及効果をもつ計算機科学の仕事を自動化するために、AIのどの突破口が前提となるかだ。これは能力の研究にも、安全性の研究にも当てはまる。AI安全性が絶対的な意味ではコンピュータービジョンより簡単だと判明したとしても、それは依然、自己改良するAIをつくるための前提ではなく、しかもそのAIに安全に任せることもできない、という特有の問題であり続ける。