AI：現代的アプローチは、この分野で群を抜いて広く使われている教科書だ。1,200の大学で採用されており、現在、コンピュータ科学分野で被引用数が22番目に多い刊行物でもある。著者のスチュアート・ラッセルとピーター・ノーヴィグは、26.3節「人工知能開発の倫理とリスク」で、AIの危険性と友好的AIにかなりの紙幅を割いている。
最初に取り上げられるリスクは、次の5つだ。
- 自動化によって人々が仕事を失うかもしれない。
- 人々の余暇が多すぎる、あるいは少なすぎるものになるかもしれない。
- 人間は特別な存在だという感覚が失われるかもしれない。
- AIシステムが望ましくない目的に使われるかもしれない。
- AIシステムを使うことで、説明責任が損なわれるかもしれない。
これらの各項目は1、2段落の長さだ。一方、最後の小節「AIの成功は人類の終焉を意味するかもしれない」には、3.5ページが割かれている。一部を紹介しよう。
問題は、AIシステムが従来のソフトウェアより大きなリスクをもたらすかどうかである。ここではリスクの原因を3つ取り上げる。第一に、AIシステムの状態推定が誤っていて、そのために誤った行動を取るかもしれない。たとえば……ミサイル防衛システムが攻撃を誤検知し、反撃を開始して、何十億もの人々の死を招くかもしれない……。
第二に、AIシステムが最大化すべき適切な効用関数を指定することは、それほど簡単ではない。たとえば、人間の苦しみを最小化するために、時間を通じて加算される報酬関数として効用関数を定めることを提案するかもしれない……。しかし人間とは、楽園にいても何かしら苦しむ種を見つけてしまうものだ。するとAIシステムにとっての最適な判断は、人類をできるだけ早く絶滅させることになる。人間がいなければ、苦しみもない……。
第三に、AIシステムの学習機能によって、意図しない振る舞いをするシステムへと進化するかもしれない。これは最も深刻なシナリオであり、AIシステム特有のものでもあるので、より詳しく取り上げる。I・J・グッドは次のように書いた（1965年）。
超知的な機械を、どれほど賢い人間であっても、そのあらゆる知的活動をはるかに上回る機械と定義しよう。機械の設計もそうした知的活動の一つなのだから、超知的な機械はさらに優れた機械を設計できる。そのとき間違いなく「知能爆発」が起こり、人間の知能ははるか後方に取り残される。したがって最初の超知的な機械は、人類が発明する必要のある最後のものとなる。ただし、その機械が十分に従順で、自らを制御下に保つ方法を私たちに教えてくれるなら、という条件つきだ。
ラッセルとノーヴィグは続いてモラベックとカーツワイルの著作に触れたあと、再びAIへの懸念を強めた論調に戻る。アシモフのロボット三原則を取り上げ、さらにこう述べている。
ユドコウスキー（2008年）は、友好的AIの設計方法をより詳しく論じている。友好性、つまり人間を傷つけたくないという欲求は、最初から設計に組み込むべきだという。ただし設計者は、自らの設計に欠陥がありうることと、ロボットが時間とともに学習し進化することの両方を認識しなければならない。したがって課題はメカニズムデザインにある。抑制と均衡の仕組みのもとでAIシステムを進化させるメカニズムを定め、そのような変化が起きても友好的であり続ける効用関数を、システムに与えるのである。プログラムに固定した効用関数を与えるだけでは済まない。状況も、それに対して私たちが望む対応も、時間とともに変わるからだ。たとえば、1800年に途方もなく強力なAIエージェントを設計できる技術があり、当時の支配的な道徳観を与えていたとしたら、そのAIは今日、奴隷制の復活と女性参政権の廃止のために戦っているだろう。一方、現在AIエージェントをつくり、効用関数を進化させる方法を教えた場合、次のように解釈しないと、どうすれば保証できるだろうか。「人間が不快な昆虫を殺すのは道徳的だと考える理由の一つは、昆虫の脳がとても原始的だからだ。しかし私の能力に比べれば、人間の脳も原始的である。ならば私が人間を殺すことも道徳的に違いない。」
オモハンドロ（2008年）は、一見無害なチェスプログラムでさえ、社会にリスクをもたらしうると仮説を立てている。同様に、マーヴィン・ミンスキーはかつて、リーマン予想を解くために設計されたAIプログラムが、その目標の達成に役立つ、より強力なスーパーコンピュータをつくろうとして、ついには地球上の全資源を掌握するかもしれないと指摘した。ここから得られる教訓は、プログラムにチェスを指させたい、あるいは定理を証明させたいだけであっても、学習と自己改変の能力を与えるなら、安全策が必要だということだ。
MIRIの研究が、このように学術界の主流で取り上げられていることをうれしく思う。
読者には、ラッセルがIJCAI-13会議でAIの影響についてのパネル討論を企画したことも興味深いかもしれない。その際のラッセル自身のスライドはこちら。ほかの登壇者は、ヘンリー・カウツ（スライド）、ジョアンナ・ブライソン（スライド）、アンダース・サンドバーグ（スライド）、セバスチャン・スラン（スライド）だった。