ここ数か月、一部の大手メディアは、AIが自然に感覚や意識を獲得し、人間に敵対するのではないかという懸念を広めています。この考え方の問題点は、多くの人が指摘しています。著名なAI研究者のアンドリュー・ンも、その一人です。
私たちが今日取り組んでいるものは素晴らしく、非常に大きな価値を生み出しています。しかし、そこから、私たちの書くソフトウェアが邪悪になるという、現実的な道筋は見えません。
彼は、感覚や意識を持つ機械について、さらにこう述べています。
コンピューターはますます知的になっています。それは自動運転車や音声認識システム、検索エンジンのような形で役立っています。これは知能です。しかし、感覚や意識については、私が話す人たちの大半は、私たちがその実現へ向かっているとは考えていません。
私は、こうした反論は正しいと思います。ンの指摘には全面的に賛成です。私たちが書くソフトウェアが、自然に「邪悪になる」道筋は、ほとんど見当たりません。
強力なAIシステムを、すべての人のために役立てたいなら、事前に取り組んでおくべき重要な仕事はあると思います。しかしそれは、強力なAIシステムに何らかの「意識の火花」が宿り、人間に反旗を翻すかもしれないからではありません。また、ヴァルカン人のような機械を作ってしまい、冷たい機械的な推論によって、人類を終わらせるのが「論理的」だとか、私たちには何らかの意味で「価値がない」とか判断されることを心配しているわけでもありません。あらかじめ研究しておく理由は、それほど空想めいたものではないのです。私たちはただ、意図しない結果を招かず、確実によいことをするように知的な機械をプログラムする方法を、まだ知らないのです。
問題は『ターミネーター』ではありません。「ミダス王」です。ミダス王は、触れたものがすべて黄金に変わるという、望みどおりの力を手に入れました。食べ物も子どもたちも黄金に変わり、王は飢えと孤独のうちに死にました。
強力で知的なソフトウェアシステムは、まさにその名のとおり、ソフトウェアシステムです。十分に強力な計画アルゴリズムに意識の火花が降り立ち、愛や憎しみの感情を与えることはありません。得られるのは、プログラムしたものだけです。（（AIシステムが意識を持つようプログラムすることは、おそらく可能でしょう。その場合、状況は大幅に複雑になります。システム自体が道徳的配慮の対象となり、その選好も私たちの判断に加味されるからです。しかし、ンが指摘するとおり、「意識」は「知能」と同じものではありません。））
強力なAIソフトウェアシステムを作るには、何らかの形で世界を表現し、知覚した情報や経験に応じて、その世界モデルを絶えず改良するプログラムを書く必要があります。また、その世界モデルを使って未来を予測し、特定の種類の未来へ至る道を見つける、強力な計画アルゴリズムもプログラムしなければなりません。
MIRIの研究の焦点は、私たちのように考え、感じる、意識を持つ機械にあるわけではありません。きわめて具体的な種類の未来につながる計画を実行するよう、ソフトウェアシステムをプログラムする力を高めることにあります。
非常に正確な世界モデルを作り、強力な計画アルゴリズムを使うようにプログラムされた機械は、とてつもない恩恵をもたらしえます。科学や技術の革新は、世界中の生活の質に大きな影響を与えてきました。人間と同じ種類の知能を、ただしもっと速く、もっと優れた形で、機械が持つようにプログラムできれば、科学と技術の革新を自動化できます。人間と動物の暮らしをよくするという課題にとって、それは状況を一変させるでしょう。
そのような恩恵を実現する機械を作るうえで、最初の課題は、世界のモデル化と計画を、高い信頼性で行わせることです。目標が何であれ、一貫してそれを追求するようにしなければなりません。それができたら、二つ目の課題は、その目標を安全で有用なものにすることです。
がんが治る未来を目指す、強力な計画システムを作ったとしましょう。その世界モデルには、次の事実がすべて表現されるかもしれません。（a）がんを治す最短の道は、生物圏を犠牲にしてロボット実験室を増やし、実験のために人間を誘拐することだ。（b）あなたはそれに気づけば、システムを止めようとする。（c）あなたが止めれば、がんが治るまでにはるかに長い時間がかかる。そこで、そのシステムは、抵抗できるようになるまであなたをだまし、その後ロボット実験室を増やして人間を誘拐する計画を実行するかもしれません。実のところ、これはあなたが頼んだことなのです。
私たちの言葉どおりではなく、意図したとおりに行動する機械を作ることができれば、こうした結果を避けられます。しかし、そのような行動は自動的についてくるものではありません。プログラムに組み込む必要があります。
非常に優れた世界モデルを持つ、超人的な計画アルゴリズムは、あなたが想像もしなかった解決策を見つけられるでしょう。あなたが気づいていないパターンを利用し、見抜けなかった近道を見つけられます。超知能による探索過程が生んだ計画に従えば、意図しない悲惨な結果が起きるかもしれません。代表的なAIの教科書の著者、スチュアート・ラッセル教授の言葉を引用します。
主な懸念は、不気味な意識が創発することではなく、単に質の高い意思決定ができることです。ここで質とは、行動によって生じる結果の期待効用を意味します。効用関数は、おそらく人間の設計者が指定します。ここで問題が生じます。
1. その効用関数は、人類の価値観と完全には一致していないかもしれません。人類の価値観を正確に特定することは、よくても非常に困難です。
2. 十分な能力を持つ知的システムは、自らの存続を確実にし、物理的な資源や計算資源を獲得することを選好します。それ自体が目的なのではなく、与えられた課題を成功させるためです。
n個の変数を持つ関数を最適化するシステムで、目的がそのうちk個（k<n）の変数だけに依存している場合、残りの制約されていない変数を極端な値にしてしまうことがよくあります。その制約されていない変数のどれかが、実は私たちの大切にしているものであれば、見つかった解は非常に望ましくないものになりえます。
人間には、「あ、それと、がんを治す間に人を誘拐しないでね」といった、こまごまとした細かい制約がたくさんあります。人間の価値観や規範のすべてを、機械が読める形式で手作業で記述し、プログラムに組み込むのは、実行可能には思えません。超人的な計画アルゴリズムが生む計画に、複雑で言葉にされていない制約や願いをすべて守ってほしいなら、汎用的な自律エージェントの行動を予測し、制御する新しい道具を開発する必要があります。そこは避けて通れません。
この問題に初めて接した人の多くは、見かけほど難しい問題ではない理由を、反射的に思いつきます。よくあるのは、「強力な計画システムが暴れ始めたら、電源を抜けばいい」という反論です。しかし、クラウドコンピューティングの時代には、この反論は通用しなくなりつつあります。インターネットなど、別の機械へ自分をコピーできるネットワークにシステムが接続できるなら、まったく成り立ちません。
もう一つよくあるのは、「計画を実行させず、出力するだけにすればよいのでは？」というものです。しかし、強力な計画手順に、（a）計画を検討した人間が承認し、（b）実行すればがんが治る、という計画を作るよう指示した場合、できるのはよさそうに見える計画にすぎないかもしれません。検証手順の予測できる見落としを利用し、結局は人を誘拐する計画です。
あるいは、「質問に答えるだけのシステムを作ればよいのでは？」とも言えるでしょう。しかし、超人的な計画手順を、具体的にどう「質問に答える」方向へ向けますか。答えを出した後、あなたに「大変満足」のボタンを押させると予測される文章を出力するようにプログラムするのでしょうか。そうであれば、システムは、特に巧妙に人をだます答えを出力するかもしれません。答えは正確でなければならないという制約を加えると、今後あなたがもっと簡単な質問をするように誘導する文章を、出力するかもしれません。
「では、その代わりに、出力をこの巧妙な指標で測るような未来へ向かわせれば……」と答えるかもしれません。そうなれば、あなたもこの問題に取り組み始めています。望ましい未来を探す強力な計画システムを、具体的にどう作ればよいのでしょうか。何らかの方法で利用者の意図や価値観を学び、それに従って行動するシステムは、作れそうに見えます。しかし、実現は簡単ではありません。あなたの意図の細部を余さず把握しながら、その情報を集める過程であなたをだましたり操ったりしないシステムを作るには、よく考えなければなりません。それは自動的には実現しません。野心的で長期にわたるソフトウェアのプロジェクトも、結局はソフトウェアのプロジェクトです。必要なコードを実際にどう書くか、突き止めなければならないのです。
人間より賢く、私たちの利益に沿って行動する機械の作り方がわかれば、恩恵はとてつもないものになるかもしれません。Evernoteの創業者フィル・リービンが言うように、AIは「宇宙がかつて見たなかで、最も偉大な善の力の一つ」になりえます。そこへたどり着くことは可能ですが、そのためには取り組むべき仕事があります。
[fundraiser-post][/fundraiser-post]