MIRIの使命は、人間より賢い人工知能の誕生が、よい影響をもたらすようにすることです。なぜこの使命が重要なのでしょうか。そして、その実現のために、今できる仕事があると私たちが考えるのはなぜでしょうか。
この記事と次の記事で、その問いに答えてみたいと思います。ここでは、私たちの使命の土台となる前提のうち、最も重要だと私が考える四つを示します。関連する記事には、エリエザー・ユドコウスキーの「五つの主張」や、ルーク・ミュールハウザーの「なぜMIRIか」があります。私がこの使命は決定的に重要だと言うたびに、その背後に置いている主張を、明示しておこうという試みです。
主張1：人間には、さまざまな分野で問題を解き、目標を達成する、非常に汎用的な能力があります。
私たちはこの能力を「知能」あるいは「汎用知能」と呼びます。これは形式的な定義ではありません。汎用知能が正確に何であるかを知っていれば、コンピューターにプログラムすることも、もっとうまくできるはずです。それでも、まだコードで再現できていない、汎用知能という実在の現象があるとは考えています。
別の見方：汎用知能というものは存在しない。人間には代わりに、それぞれ異なる特定の用途に向けたモジュールの集まりがある。コンピューターはチェスや運転のように、狭く定義された課題では向上し続けるが、「汎用性」を獲得し、大幅に役立つようになる瞬間は来ない。獲得すべき汎用性などないからだ。（ロビン・ハンソンは、この立場に属する議論を述べています。）
短い応答：祖先にとってはまったく未知だった分野でも、人間がこれほど容易に熟達できることを考えると、「ばらばらのモジュール」仮説は、私にはもっともらしく思えません。だからといって、汎用知能が、分解できない何か神秘的な性質だという意味ではありません。おそらく、さまざまな認知能力と、その相互作用から成っています。しかし、それらが全体として、人間に、たとえばチンパンジーよりはるかに幅広く柔軟に考え、適応する力を与えているのです。
この主張が重要な理由：人間が他の種に対して優位に立ったのは、力が強いからでも、身軽だからでもなく、知能が高いからです。この汎用知能の何らかの重要な部分が、チンパンジーとの共通祖先が生きていた時代からの数百万年で進化できたのなら、人間の技術者が強力な汎用知能を持つAIシステムを作るために必要な、核心的な洞察の数は、比較的少ないのかもしれません。
さらに読む：サラモンら「知能はどこまで理解できるか」
主張2：AIシステムは、人間よりはるかに賢くなりえます。
MIRIの研究者は、人間より賢い機械知能がいつ開発されるかについては、強い確信を持たない傾向があります。しかし、（a）人間と同等の機械知能はいずれ開発される（破局がなければ、おそらく1世紀以内にはそうなる）、そして（b）機械は、どの人間よりも大幅に賢くなれる、と考えています。
別の見方1：脳は、コンピューターでは再現できない特別なことをしている。
短い応答：脳は物理的なシステムです。チャーチ＝チューリングのテーゼのある種の定式化が成り立つなら、コンピューターは原理上、どんな物理的システムの機能的な入出力の振る舞いも再現できます。また、ここで私が使う「知能」は、問題を解く能力のことだという点にも注意してください。たとえ、クオリアなど、コンピューターでは再現できない人間特有の性質があっても、問題を解く機械の設計をそれが妨げないかぎり、この議論には関係しません。
別の見方2：汎用知能の根底にあるアルゴリズムは、あまりに複雑で解読困難なので、人間がプログラムできるようになるには何世紀もかかる。
短い応答：進化の証拠を踏まえると、これは考えにくいことです。ヒト属が他の属から分かれたのは、わずか280万年前です。それからの時間は、自然選択にとっては一瞬ですが、人間に見られる認知上の優位を生み出すには十分でした。このことは、人間を、より知能の低い種と区別するものが、極端には複雑でないことを強く示唆します。汎用知能の構成要素は、チンパンジーにも存在していたはずなのです。
実際、イルカの比較的知的な行動からすると、その構成要素は、人間とイルカの、ネズミほどの大きさの共通祖先にまでさかのぼって、存在していたのでしょう。ネズミ程度の知能を再現するにも何世紀もかかる、と主張することはできます。しかし、AI分野の急速な進歩を見ると、それはさらに受け入れにくい主張です。進化の証拠と、ここ数十年のAI研究を踏まえると、知能は私たちが理解し、機械にプログラムできるものだと、私には思えます。
別の見方3：人間はすでに、物理的に可能な知能の頂点、あるいはその近くにいる。したがって、人間と同等の知的な機械は作れても、超知能の機械は作れない。
短い応答：人間が完璧に設計された推論者だとしたら、驚くべきことです。飛行機が鳥より速く飛べないとしたら驚くのと、同じ理由です。簡単な物理的計算も、この直感を裏づけます。たとえば、人間の脳のコンピューターシミュレーションを通常の何千倍もの速度で動かすことは、物理法則の範囲内で十分可能に思えます。
本当の制約は物理実験のデータが入ってくるのを待つ時間だから、思考の速度は重要でないと考える人もいます。私はそうは思いません。高速化できる興味深い物理実験は、数多くあります。そして、1,000倍の速さで動く人間のチームが、通常速度のチームを上回れないとは、なかなか考えられません。とりわけ、自分たちを助ける新しい道具や技術を、急速に開発できるからです。
さらに私は、単に速いだけでなく、同じ速度で動いていても、人間より計算資源を効率よく使う、より優れた推論システムを作ることも可能だと考えています。
この主張が重要な理由：人間が重視する作業では、人間の設計した機械が、生物を圧倒することはよくあります。自動車は自然に傷を治したり繁殖したりできませんが、人間を馬よりはるかに遠く、速く運べます。科学と技術の革新によって、世界最大級の問題を解くよう特に設計された知的な機械を作れれば、前例のない速さで世界をよくできるかもしれません。つまり、AIは重要なのです。
さらに読む：チャーマーズ「シンギュラリティー：哲学的分析」
主張3：高度に知的なAIシステムを作れば、その意思決定が未来を形づくります。
人間は知能を使って、道具や計画、技術を作り、環境を自分の望む形へ変えています。冷蔵庫や車、都市で満たしているのです。さらに知能の高いシステムは、周囲を形づくる力もさらに大きくなると予想されます。そのため、人間より賢いAIシステムは、人間よりはるかに大きな力で未来を左右するようになるかもしれません。
別の見方：AIシステムは、どれほど賢くなっても、人類全体との競争には勝てない。私たちの環境では競争が激しすぎるので、機械は人間と協力し、経済に加わるほかない。
短い応答：単純な仕事を達成しようとする自律AIシステムが、当初は私たちの経済に加わる強い誘因を持つことには、疑いがありません。切手を集めてくれるAIシステムを作れば、おそらくまず切手を買うお金を手に入れるでしょう。しかし、そのシステムが、技術や戦略で大きな優位を築いたらどうでしょうか。
極端な例として、ナノマシンを開発し、それを使ってできるだけ多くの物質を切手に変えるシステムが考えられます。その物質が「土」なのか「お金」なのか「人」なのかは、必ずしも気にしないでしょう。利己的な主体が経済に参加する誘因を持つのは、取引で得る利益が、経済を無視して資源を奪い、自分のものにしたときの純利益を上回る場合だけです。
つまり問題は、AIシステムが決定的な技術上・戦略上の優位を得られるかどうかです。ここに挙げた主張のなかで、私にはこれが最も不確かに思えます。しかし、それでも答えは明確に「得られる」だろうと考えています。
歴史上、人間同士の争いは、技術的に優れた集団が相手を支配する結果に終わることが、よくありました。現在も、可能に思われながら、まだ開発されていない技術や社会の革新は数多くあります。人間同士の連携は、分散ソフトウェアシステムが達成できるものと比べて遅く、拙いものです。これらは、人間より速く、あるいは上手に科学を行う機械を作れば、その機械は、自分自身や運用者のため、人類に対する技術的な優位や戦略的な優位を、短期間で得られる可能性を示しています。特に、知的な優位を生かして、人間を社会的に操ったり、合法・非合法を問わず新しいハードウェアを入手したり、よりよいハードウェアを作ったり、自分を複製したり、自分のソフトウェアを改良したりできるなら、なおさらです。よくも悪くも、未来の多くは、超知能を持つ意思決定機械に左右される可能性が高いでしょう。
この主張が重要な理由：未来は大切だからです。将来、物事がよくなってほしい、少なくとも悪くなってほしくないなら、未来に大きな影響を及ぼす過程を、優先して研究するのが賢明です。
さらに読む：アームストロング『Smarter Than Us』
主張4：高度に知的なAIシステムは、何もしなければ有益にはなりません。
私たちは、将来の人間より賢いAIシステムが、人類と協力し、よりよい未来を築くことを望んでいます。しかし、それは何もしなくても実現することではありません。有益な影響をもたらすAIシステムを作るには、より強力で汎用的なAIシステムを作ることに加えて、いくつもの技術的課題を解かなければなりません。
別の見方：人間は賢くなるにつれて、より平和的で寛容にもなってきた。AIも同様に、賢くなれば私たちの価値観をよりよく理解できるようになり、それをよりよく実現するだろう。
短い応答：十分に知的な人工の推論システムなら、私たちの意図や選好を理解できるでしょう。しかし、それに従う計画を実行することを、そこから導くことはできません。
自分を改変するAIシステムは、自分のコードを調べ、与えられた目標を追い続けるか、それとも変えるかを決められます。しかし、そのプログラムは、どの改変を実行するかを、どう決めるのでしょうか。
AIシステムは物理的なシステムであり、その内部のどこかで、さまざまなことをしたら宇宙はどうなるかを予測しています。別の部分がその結果を比較し、現在のシステムが高く評価する結果につながる行動を実行します。最初に、がんが治った宇宙につながると予測する計画を実行するようプログラムされたエージェントなら、目標の変更ががんの治療につながると予測するときにしか、目標を変えないでしょう。
知能の水準にも、あなたの意図にもかかわらず、コンピューターはプログラムされたことをそのとおりに実行します。非常に知的な機械に、がんが治る未来につながると予測する計画を実行するようプログラムすれば、その機械の見つける最短経路には、実験用に人間を誘拐することが含まれるかもしれません。そして、自分を変更しようとするあなたの試みは仕事を遅らせるので、それに抵抗するかもしれません。
コンピューターの能力がある境界を超えたら、他の感覚ある存在を尊重する気持ちを自動的に与えてくれる、思いやりの火花があるわけではありません。思いやりが欲しければ、プログラムに組み込まなければなりません。
この主張が重要な理由：世界最大級の問題の多くは、超知能の助けがあれば、はるかに解きやすくなるでしょう。しかし、その恩恵を得るには、AIシステムの能力を高めるだけでは足りません。あなたの意図を考慮し、それをかなえる計画を実行するよう、どうプログラムするかを知っていて初めて、意図どおりに動くシステムが得られるのです。
さらに読む：ボストロム「超知能の意志」
この四つの主張が、人工知能は重要だという議論の核心です。汎用的な推論能力というものは存在する。それを備えた推論システムを作れば、人間よりはるかに賢くなりうる。人間よりはるかに賢ければ、途方もない影響を及ぼしうる。そして、何もしなければ、その影響は有益にはならない、ということです。
現在、AIの能力の研究には、数十億ドルと数千人年が注がれています。それに比べると、AI安全性研究への取り組みはわずかです。人工超知能は、今後数十年のどこかで生まれるかもしれませんし、大惨事がなければ、今後1〜2世紀のうちに、何らかの形でほぼ確実に作られるでしょう。超知能システムは、人類にきわめてよい影響を与えるか、きわめて悪い影響を与えるかの、いずれかです。どちらになるかを決めるのは、私たちです。
[fundraiser-post][/fundraiser-post]