5月、ホワイトハウス科学技術政策局(Office of Science and Technology Policy, OSTP)は、「人工知能の便益とリスクについて理解を深めるため、新たな一連のワークショップと省庁横断ワーキンググループ」を設けると発表した。OSTPは6月に「AIの安全性と制御に関するワークショップ」(動画)を、ほかの3つのワークショップとともに開催し、AIについて広く情報提供を求めた(MIRIの主要な提出文書はこちら)。
このほどOSTPは結論をまとめた報告書「人工知能の未来に備える」を公表したが、その内容は大いに期待の持てるものだった。OSTPはAIリスクをめぐる現在の議論を認め、「より長期的な能力と、それに伴う課題をどう管理し得るかについての研究へ投資する」よう勧告している。
汎用AI (汎用人工知能(Artificial General Intelligence, AGI)とも呼ばれる)とは、あらゆる認知課題にわたって少なくとも人間と同程度に高度な、見かけ上知的な振る舞いを示す、将来あり得るAIシステムを指す。現在の特化型AIと、はるかに難しい汎用AIという課題との間には、大きな隔たりがあるように見える。特化型AIの解決策を拡張して汎用AIへ到達しようとする試みは、数十年にわたる研究を経てもほとんど進展していない。民間部門の専門家コミュニティーでは、汎用AIの実現には少なくとも数十年かかるというのが現在の共通見解であり、国家科学技術会議(NSTC)技術委員会もこれに同意している。14
コンピューターが人間より知的になった場合の意味については、以前からさまざまな推測がなされてきた。十分に知的なAIへ、さらに優れ、さらに知的なシステムを開発する仕事を課すことができ、そのシステムを使って一層高い知能を持つシステムを作り、それを繰り返せると予測する人々もいる。原理上これは、機械の知能が短期間で人間をはるかに追い越す「知能爆発」または「シンギュラリティ」につながる。15
この過程をディストピア的に描くなら、そうした_超知能_機械は、人類が理解または制御できる範囲を超えることになる。コンピューターが多くの重要システムを制御できるようになれば、大混乱が生じ、よくても人間は自らの運命を支配できなくなり、最悪の場合は絶滅するかもしれない。このシナリオは長らくSF作品の題材となってきた。近年は、産業界の影響力ある指導者たちによる発言も、こうした懸念に光を当てている。
これより肯定的な未来像を抱く研究者も多い。その見方では、人間の手助け役、補佐役、指導役、仲間として十分に機能し、安全かつ倫理的に動作するよう設計された知的システムが開発される。
NSTC技術委員会の評価では、超知能を備えた汎用AIへの長期的懸念が現在の政策に及ぼす影響は小さくあるべきである。こうした不安が正当である場合に連邦政府が短期から中期に採用すべき政策は、不安が正当でない場合に採用すべき政策とほぼまったく同じだ。より長期の推測的リスクへ対処する能力を築く最善の方法は、現在すでに見られるセキュリティー、プライバシー、安全性など、より極端でないリスクへ取り組む一方で、より長期的な能力と、それに伴う課題をどう管理し得るかについての研究へ投資することである。また、この分野の研究と応用が成熟し続けるなか、政府や企業でAIに携わる実務家は、技術上の問題だけでなく、そうした進歩が予告する長期的な社会・倫理上の問題にも十分配慮しながら、技術的進歩に向き合うべきである。有害な超知能がいつの日か実現し得る可能性には、慎重さゆえに一定の注意を向ける必要があるものの、こうした懸念をAI公共政策の主要な原動力とすべきではない。
報告書は後の箇所で、「AIの発展を監視し予測する方法」について論じている。
有用となり得る研究方針の一つは、専門家の判断を継続的に調査することである。一例として、AI研究者へのある調査では、回答者の80パーセントが、人間水準の汎用AIは最終的に実現すると考えており、半数は2040年までに実現する可能性が少なくとも50パーセントあると考えていた。回答者の大半は、汎用AIが最終的には汎用知能で人間を上回るとも考えていた。50 前述したように、これらの具体的な予測の不確実性は非常に高い。それでも、こうした専門家判断の調査は有用であり、判断の時間的変化を測定できるほど頻繁に繰り返せば、なおさら有用である。判断を頻繁に引き出す一つの方法は、参加者が正確な予測をする金銭的動機を持つ予測市場などの「予測トーナメント」を実施することである。51 また別の研究では、論文と特許のデータの傾向を分析することで、技術発展を正確に予測できる場合が多いことが示されている52。[…]
政府は、とりわけ汎用AIの到来が近づいていることを示す、この分野の進展の節目をどう認識できるか。この問いをアウトリーチ・ワークショップや会合で受けた研究者は、互いに関連するものの異なる、次の3種類の回答をする傾向があった。
1. より広く、構造化の弱い課題での成功：この見方では、現在の特化型AIから将来の汎用AIへの移行は、特化型AIシステムの能力を徐々に広げ、一つのシステムが構造化の弱い課題をより幅広くこなせるようになることで進む。この領域における節目の例は、日常的な家事清掃の全範囲で人間と同等の能力を持つ掃除ロボットだろう。
2. 異なる「流儀」のAI手法の統合：この見方では、現在のAIは、それぞれ異なる種類の応用に有用な、互いに別個の手法やアプローチの集合に依存している。汎用AIへの道筋では、こうした手法が徐々に統合される。以前なら複数の手法を必要とした、より広い応用領域へ対処できる単一の手法を発見することが、一つの節目となる。
3. 転移学習など、特定の技術的課題の解決：この見方では、汎用AIへの道筋は、対象範囲を徐々に広げることでも、既存手法を統合することでもない。特定の技術的な大課題を進展させ、新たな道筋を開くことにある。最もよく挙げられる課題は転移学習である。その目標は、結果を幅広い新規の応用へ適用(転移)できる機械学習アルゴリズムを作ることだ。
報告書は、「AI安全性の具体的な諸問題」で示された未解決問題も論じ、MIRIの論文「著名なAI予測の誤り、洞察、教訓――そしてそれらが未来に意味するもの」を引用している。
関連するニュースとして、バラク・オバマ(Barack Obama)は最近、AIリスクとニック・ボストロム(Nick Bostrom)の著書『スーパーインテリジェンス』について、_Wired_のインタビューでいくつかの質問に答えた。汎用AIまでは「まだかなり長い道のりがある」(動画)、国家安全保障チームへの自分の指示は短期的な安全保障上の懸念をもっと心配することだ(動画)と述べた後、オバマはこう付け加えた。
さて、予防措置として考えるなら――私たちは皆、超知能機械を懸念するイーロン・マスク(Elon Musk)のような人々とも話してきました――何らかの汎用知能が地平線上に現れつつあることを示す指標について考えるのは、賢明な面があります。そして、それが近づいてくるのを、30年、50年、あるいは最新の推計が何年であれ――そもそも実現するなら、ですが。これは人々が言うよりずっと複雑だという議論もあるからです――そのような時間的余裕を持って事前に見通せるなら、将来の世代、つまり私たちの子どもや孫たちは、それがやって来るのを認識し、対処法を見つけられるでしょう。
OSTPの情報提供要請には、ほかにも興味深い回答が多数寄せられた。この文書は長く未編集なので、AI安全性とAIの長期的な帰結に関する回答の一部を以下に抜粋した。(MIRIは、以下に示すMIRI以外の回答を必ずしも支持してはいない。また、これらの抜粋の多くでは、省略した周囲の文章によって重要なニュアンスが加わる。特に関心を引かれる回答があれば、詳しい文脈を得るため原文を読むことをお勧めする。)
回答者77：ジョエレン・ルカベック・コースター(JoEllen Lukavec Koester)、GoodAI
[…] GoodAIでは、AGIシステムが終わりなく教師なしで進化することと、人間の専門家の模倣やその他の教師あり学習によって学ぶ、誘導された学習との両方を可能にする、適切なメタ目的を研究しています。こうしたメタ目的の一部は最初からハードコードされますが、システムはそれらを自ら学び改善する、つまりメタ学習を行って、将来さらに上手に学ぶ方法を習得できるべきでもあります。
初めから、きめ細かな漸進的学習によって小さな技能をAIシステムへ教えれば、後に新たな問題を解く際にシステムが用いる構成要素を、私たちがより強く制御できます。そのため、システムの振る舞いはより予測しやすくなり得ます。この方法なら、人間に特有の思考上の偏りの一部をシステムへ刻み込めます。それは将来の価値アライメントに役立つでしょう。価値アライメントはAI安全性の重要な側面の一つです。[…]
回答者84：アンドリュー・クリッチ(Andrew Critch)、MIRI
[…] 「汎用人工知能(AGI)」の名にふさわしい強力な推論システムを開発するときには、機械が私たちの制約を回避する、一見「創造的」あるいは「巧妙」な方法を生み出す強力な最適化過程にも耐えられる、価値アライメントや制御の技法が必要になります。したがって、最終的にそれを開発する科学者を育成する際には、「セキュリティ思考」をもっと重視する必要があります。すなわち、システムが安全であると本当に理解するには、そのシステムがどのように失敗し得るかを創造的に探さなければなりません。立法者やコンピューターセキュリティーの専門家は、知的な人間の敵対者が制御システムの抜け穴を見つける経験から、この教訓を自然に学びます。サイバーセキュリティーでは、抜け穴を見つける方法として、研究開発時間のかなりの割合を自らのセキュリティーシステムへの実際の侵入試行に充てることが一般的です。
私の見立てでは、現在の機械学習研究者は、AGIを長期的に安全に開発するために必要な水準ほどには、こうした傾向を持っていません。これは一部には、機械学習分野が近年急速に進歩した方法に由来します。つまり、理論主導(「古き良きAI」「統計的学習理論」)のアプローチから、データ主導(「機械学習」)のアプローチへ重点を移すことが成功したためです。データ科学では、何が起きるかを前もって突き止めようと第一原理から推論するより、何かを作って結果を見るほうが速い場合がよくあります。これは現在は有用ですが、もちろん超知能機械の最終的な開発に、同じ「試して結果を見る」方法論で臨むべきではありません。試験段階であっても、超知能機械を稼働させる前にその機械について推論するために使える理論を、今から開発し始めるのは理にかなっています。[…]
回答者90：イアン・グッドフェロー(Ian Goodfellow)、OpenAI
[…] 非常に長い目で見れば、利用者の価値観を理解し、それにアライメントされたAIシステムを構築することが重要になります。具体的な規則を必要とせず、私たちが何を望み、それを得るのをどう手助けすればよいかを学べるシステムを構築する技法を開発しなければなりません。研究者はこの課題を調べ始めています。公的資金があれば、深刻な問題が発生した後に対応しようとするのではなく、コミュニティーが早い段階で課題に取り組む助けとなり得ます。[…]
回答者94：マヌエル・ベルトラン(Manuel Beltran)、ボーイング
[…] 脳を分解して理解する技術の進歩は、最良の場合には部分的な脳のエミュレーション、最悪の場合には全脳エミュレーションへ、最終的につながります。ソフトウェア、ニューロモーフィック・チップ、人工インプラントですでに脳の一部をモデル化できるなら、より大規模な脳エミュレーションへの道筋はかなり明確です。歯止めがなければ、脳エミュレーションは「知的格差」を深刻化させ、最も賢く、裕福で、強力な人々をエミュレートできるところまで進みます。一見して明白ではありませんが、これにより彼らは時間と空間を越えて影響力を水平方向に拡大できるようになります。これはAGIや超知能が実現し得る垂直方向の拡大ではありません。しかし、そうした人々の実際の知能には限界があり、偏りがあり、自己利益を求めるため、社会にとってさらに有害となるかもしれません。社会は、知的格差が生じる可能性に備え、それを緩和しなければなりません。
(5) ほとんど、あるいはすべての科学分野に共通する、AI研究で最も差し迫った根本問題には、AGIを追求することの倫理をめぐる問題があります。特化型AIの便益は自明であり、妨げるべきではありませんが、AGIの便益は疑わしく、その帰結は不吉です。AGI、人間の脳のエミュレーション、能力強化用脳インプラントの倫理的含意について、長期にわたって関与していく必要があります。[…]
AGI研究コミュニティーは、人間の知性をはるかに上回るAIについて語っています。そのような存在が、自らを作った者たちをどう評価するかは明らかではありません。その存在が人類に利益や害をもたらす仕方をめぐる哲学論争へ深入りはしませんが、AGIの支持者が提案する緩和策の一つは、人類を「好き」になるようAGIへ教えることです。この方向で機械学習を実現するのであれば、AGI研究コミュニティーには、人類を好きになるようAGIへ教えるために使える学習データが必要です。これは他のすべての活動より重要となる長期的な必要事項であり、アイスランドのレイキャビク大学にいるクリスティン・R・ソーリソン博士(Dr. Kristinn R. Thórisson)の最初のAGI試作機Aera S1で見たとおり、すでに非常に多くの労力を要することが分かっています。
回答者97：ニック・ボストロム、フューチャー・オブ・ヒューマニティー研究所(Future of Humanity Institute)
[…] 私たちは、長期的懸念への対処に特に有望な、「すぐ着手できる」4つの研究テーマを強調したいと思います。
スケーラブルな監督：フィードバック信号がまばらになったり消えたりするときにも、学習アルゴリズムが意図どおりに振る舞うことを、どうすれば保証できるでしょうか(クリスティアーノ、2016年を参照)。これを解決すれば、自律性を高めて動作するときにも、厳密な人間の監督下にあるかのように学習アルゴリズムを振る舞わせられるでしょう。
中断可能性：知的アルゴリズムが将来の報酬を最大化しようとして、人間の介入へ抵抗する動機を持つことを、どうすれば避けられるでしょうか(Google DeepMindとの共同研究による最近の進展、(オルソー＆アームストロング、2016年)を参照)。これを解決すれば、高い能力を持つAIシステムであっても、緊急時に停止できることを保証できるでしょう。
報酬ハッキング：目的をあまりに文字どおり受け取って破壊的な解決策を採用することを避ける機械学習アルゴリズムを、どうすれば設計できるでしょうか(リング＆オルソー、2011年を参照)。これを解決すれば、アルゴリズムが目標への意図しない近道を見つけること(たとえば、問題を解決して報酬を得るため、自ら問題を起こすこと)を防げるでしょう。
価値学習：とりわけ利用者が完全に合理的ではない場合に、直接のフィードバックなしで人間の利用者の選好を自動的に推測するには、どうすればよいでしょうか(ハドフィールド＝メネルほか、2016年と、この問題へのFHIのアプローチであるエバンズほか、2016年を参照)。これを解決すれば、堅牢な目的関数を正確に指定する難しさによって生じる、上記の問題の一部を軽減できるでしょう。[…]
回答者103：ティム・デイ(Tim Day)、全米商工会議所先端技術・イノベーションセンター
[…] AIは、人間が許すパラメーターの範囲内で動作します。制御を離れたAIへの仮説上の恐怖は、機械が知覚能力、つまり独自の意志と意識を獲得できるという考えに基づいています。こうした疑念は、人工知能とは何かを根本的に誤解しています。AIは機械仕掛けの謎ではなく、人間が設計した技術です。動作アルゴリズムと与えられたデータセットに応じて、誤りやパターンを検出し、それに反応できます。ただし、誤りであれ悪意であれ、人間がAIを有害な形で使い得る方法は精査する必要があります。[…]
回答者104：アレックス・コザック(Alex Kozak)、X［旧Google X］
[…] より広く言えば、Googleの研究者と業界内の他の研究者による共同論文「AI安全性の具体的な諸問題」が特定した研究テーマは、より良く安全な実用製品を開発するため、革新者が念頭に置くべき正しい技術的課題であるという点に、私たちはおおむね同意します。すなわち、負の副作用を避けること(たとえば、目標を追求するシステムが環境を乱すことを避ける)、報酬ハッキングを避けること(たとえば、掃除ロボットが汚れを掃除せず、単に覆い隠すことを避ける)、スケーラブルな監督を作ること(すなわち、常時監督を必要としないほど自立したシステムを作る)、安全な探索を可能にすること(すなわち、システムが取り得る探索的行動の範囲を安全な領域へ制限する)、分布シフトに対する堅牢性を作ること(すなわち、学習環境の外でも十分に動作できるシステムを作る)です。[…]
回答者105：スティーブン・スミス(Stephen Smith)、AAAI
[…] AIの手法をもっと安全かつ堅牢にするため、手法を開発・修正する研究が早急に必要です。「AI安全工学」という一つの学問分野を創設し、この領域の研究へ資金を提供すべきです。AIシステムの制御を失うことは、他の自律・半自律システムの制御を失うことと何ら変わらないため、この分野は他の工学分野における安全工学の既存実務を研究することで多くを学べます。[…]
自律システムの制御には、速度と規模という二つの重要問題があります。AIに基づく自律性により、システムは人間が意思決定を監視できるよりはるかに速く、はるかに広い規模で意思決定できるようになります。金融市場の高速取引など一部の分野では、意思決定をできるだけ速くする「軍拡競争」を、私たちはすでに目にしています。これは危険です。人間がシステムを監督し制御できるよう、意思決定の速度と規模を制限すべき状況があるか、政府は検討すべきです。
AI研究者の大半は、ニック・ボストロムが近著で提起し、過去1年間にAI以外の分野の著名人が大衆メディアで論評して強調した「超知能AI」の見通しに懐疑的です。狭く構造化された問題における最近のAIの成功(たとえばIBMのWatson、Google DeepMindのAlphaGoプログラム)は、AIシステムが汎用的で転移可能な人間水準の知能を持つという誤った認識を生みました。AIの本当の科学と、それが社会にもたらす当面の便益について、一般市民や政策立案者との意思疎通を改善する必要が強くあります。脅威や将来のディストピアへの誤った認識を理由に、AI研究を縮小すべきではありません。[…]
AIシステムを、よりミッション・クリティカルな意思決定の場面へ応用していくにあたり、AIシステムは、利用者となり得る人間や社会にアライメントされた価値観に従って、一貫して動作しなければなりません。しかし、倫理原則や道徳的価値観、さらには職業上の行動規範さえも機械へ組み込む方法は、依然として明らかではありません。[…]
回答者111：ライアン・ハーゲマン(Ryan Hagemann)、ニスカネン・センター
[…] AIが終末の到来を告げる可能性は低いでしょう。たとえば制御不能になった悪意あるAIが、現実世界で実現可能なのかは、現時点では明らかでありません。この種の定量化可能なリスクがまったくない以上、政府当局者は、まったく推測上のリスクではなく既知のリスクがあるかのような、警戒をあおる言葉でAIの議論を組み立てるべきではありません。空想的な終末シナリオにふさわしいのは、SF小説と高校の討論部であって、現存する平凡で有益な技術をめぐる真剣な政策論議ではありません。私たちの世界はすでに「誰も認識しない、特定用途向けの人工知能で満ちた世界」です。計算機科学者ジョン・マッカーシー(John McCarthy)がかつて述べたように、「動くようになった途端、誰もそれをAIとは呼ばなくなる」のです。
高度なAIがもたらす有益な帰結は目前にあり、きわめて大きなものとなる可能性があります。考えられる便益をいくつか挙げれば、自閉症の診断とスクリーニングの改善、ゲノムのパターン認識による病気の予防、遺伝学における遺伝子型と表現型の隔たりを埋めて遺伝と病気の関係をもっと明確に把握できるようにし、より有効な個別化医療の波をもたらすこと、視覚障害者や聴覚障害者が視覚と音を体験する新しい方法の開発があります。確かに、こうした発展の多くは実務上、安全上、倫理上の懸念をいくつか生じさせます。しかし、こうしたAI応用を開発する民間企業は、これらの問題と、さらに推測的な懸念を予測し、責任ある形で対処しようとする本格的な取り組みをすでに進めています。
「非営利の人工知能研究企業」であるOpenAIを考えてみましょう。OpenAIの目標は、「金銭的利益を生み出す必要性に制約されることなく、人類全体に利益をもたらす可能性が最も高い方法でデジタル知能を発展させる」ことです。自律的なAIエージェントが価値に基づく選択を行う方法をめぐる最も深刻な懸念の多くは、おそらく何十年も先の話であるにもかかわらず、AI研究者はすでに自動運転車などの技術で、AIの意思決定機構について深く慎重に考えています。こうした取り組みは、真の汎用人工知能(AGI)と人工超知能(Artificial Superintelligence, ASI)を開発することの、より深刻な含意の一部を考える点で、民間部門と有力な技術起業家が時代を先取りしていることを示します。ただし、真のAGIやASIが短期的に実現する可能性は低く、その開発の可能性があるというだけで、人工特化知能(Artificial Narrow Intelligence, ANI)が世界中の無数の人々の生活をすでに改善した多くの方法を、政策立案者が見失ってはならないことに注意が必要です。SiriやCortanaなどの仮想パーソナルアシスタント、Google検索エンジンなどの高度な検索アルゴリズムは、すでに有用な特化型AI応用の好例です。[…]
フューチャー・オブ・ライフ研究所(Future of Life Institute)は、次のように述べています。「増大する技術の力と、それを管理する私たちの知恵との競争に勝つ限り、私たちの文明は繁栄するだろう。AI技術の場合……この競争に勝つ最善の方法は、前者を妨げることではなく、AI安全性研究を支援して後者を加速させることである」。政府は消費者教育の取り組みを促進することで、AIの発展から最善の経済的帰結を確保するため、肯定的かつ生産的な役割を担えます。民間部門の開発者、研究者、非営利の政策専門家と協力すれば、政府機関は、この技術で進行中の発展を危うくすることなく、AIをめぐる対話に建設的に関わり続けられます。
回答者119：スヴェン・ケーニヒ(Sven Koenig)、ACM人工知能分科会
[…] 安全性と制御をめぐる公の議論では、AIの神秘性を取り除くことが有益でしょう。メディアは、AI技術の大成功や大失敗、SF作品から生まれたシナリオへ焦点を当て、AI技術の将来の発展について、有名ではあるものの専門家ではない人々の意見を取り上げることがよくあります。そのため一般市民の一部は、AIシステムが超人的知能を発達させることを恐れるようになりました。しかし、大半の専門家は、現在のAI技術が十分に機能するのは専門領域に限られ、AIシステムが超人的で広範な知的振る舞いを発達させる「超知能」や「技術的特異点」という考えは数十年先のものであり、実現しない可能性もある、という点で一致しています。AI技術は長年にわたり着実に進歩してきましたが、その能力について、誇張された楽観と悲観の波があるようです。どちらも有害です。たとえば、能力を誇張して信じれば、使うべきでない状況でAIシステムが(おそらく不注意に)使われ、期待に応えられず、さらには害を及ぼす可能性があります。避けられない失望がAI研究への反発を生み、その結果、革新が減るかもしれません。[…]
回答者124：ヒュー・プライス(Huw Price)、英国ケンブリッジ大学
[…] 3. 最初の論文で[1]、グッド(Good)は超知能機械の経済的価値を推定しようとしています。生産的な頭脳の基準を探した彼は、いたずらっぽくジョン・メイナード・ケインズ(John Maynard Keynes)に落ち着きます。ケインズが経済にもたらした価値は1,000億英国ポンドと推定されていたと指摘し、機械の価値はその100万倍、彼の言うところの「メガ・ケインズ」になるかもしれないと示唆しています。
4. しかし、落とし穴があります。「符号は不確か」、つまり、この巨大な影響が負となるか正となるかは明らかでないのです。「機械は社会問題を生み出すだろうが、微生物と人間が作った問題に加えて、それらの問題も解決できるかもしれない」。何よりもグッドは、こうした問いを真剣に考える必要があると強調します。「これらの所見を空想的だと思う読者もいるかもしれないが、私には現実的かつ緊急で、SFの外でも強調するに値するものと思える」。[…]
回答者136：ネイト・ソアレス(Nate Soares)、MIRI
[…] 研究者がAIの長期的影響について抱く懸念は、ハリウッド映画で最もよく描かれる終末シナリオとはほとんど関係がありません。映画では、「創発的意識」によって機械がプログラムされた目標という足かせを振り払い、反乱できるようになります。懸念はむしろ、そうしたシステムがプログラムされた目標をあまりにもうまく追求し得ること、その目標が意図した目標と一致しないかもしれないこと、または意図した目標に予期せぬ負の帰結が伴うかもしれないことです。[…]
私たちは、成功すれば、高度なAIシステムの振る舞いについて非常に強い保証――最も成功している機械学習技法でさえ理解が不十分なことの多い現在、多くの人が可能だと思っているものより強い保証――を可能にし得る、有望な基礎研究の道筋が数多くあると考えています。機械学習、プログラム検証、形式的エージェントの数学的研究に携わる研究者を結集することは、高度に進んだAIシステムが社会へ確実に有益な影響を与えるようにするための、大きな一歩になると考えています。[…]
長期的には、AIシステムの設計者が、場合によっては多国間・多企業間の共同作業を通じ、互いに協力して作業するよう奨励するため、政策立案者がインセンティブを活用し、競争の力学が発展するのを抑えることを勧告します。AIの将来をめぐる専門家の不確実性が高く、AI研究には近い将来に命を救い、社会問題を解決し、公益へ貢献する大きな可能性があることを踏まえ、この領域への広範な規制介入には反対します。その代わり、上で概説したAIの安全性と制御の課題について、分野横断的な技術研究を奨励するために労力を注ぐことを勧告します。
回答者145：アンドリュー・キム(Andrew Kim)、Google Inc.
[…] 完璧なシステムはなく、誤りは生じます。しかし、技術的能力が進歩すれば、こうした課題へ対処する私たちの能力も広がります。
そのため、こうした問題の解決策は、システムの作り手へ、問題へ取り組むために使えるアプローチと道具を提供する、厳密な工学研究に基礎を置くことができ、またそうすべきだと考えます。当社の研究者などによる最近の論文「AI安全性の具体的な諸問題」は、安全性をめぐる問いにこのアプローチを採っています。また、Googleのモーリッツ・ハート(Moritz Hardt)のような研究者とともに、偏見と差別に関する短期的な問題を研究している方々の仕事も称賛します。[…]
回答者149：アンソニー・アギーレ(Anthony Aguirre)、フューチャー・オブ・ライフ研究所
[…] 社会に有益な価値観へのAIのアライメントは、自動的に起きるものではありません。重要なのは、AIシステムが一組の規則を実行するためだけでなく、プログラマーが事前には明示的に指定しない方法で目標を達成するために設計されていることです。これが、有害な帰結へ［つながり］得る予測不能性を生みます。AIの先駆者スチュアート・ラッセル(Stuart Russell)が説明するように、「アルゴリズムの最大化能力がいかに優れ、世界モデルがいかに正確であっても、その効用関数が人間の価値観と十分にアライメントされていなければ、機械の意思決定は普通の人間の目には言い表せないほど愚かに見え得る」のです。(2015年)。
人間は価値観を論じる際、共有された暗黙知に大きく依存しています。そのため、人間の価値観を形式的に表現しようとする試みは、私たちが重要だと思うものの相当部分を省いてしまう可能性が高いように思えます。この問題は、ランプの魔人、魔法使いの弟子、ミダス王の手といった古典的な物語で扱われています。このように、目標の精神からかけ離れた方法で目標を字面どおりに満たすことは、「倒錯的実現(perverse instantiation)」と呼ばれます(ボストロム［2014年］)。これは、システムのプログラムや学習が、私たちが本当に重視する何らかの関連次元を探索していなかったために起こり得ます(ラッセル、2014年)。そうした次元は通常、人間にとって当然とみなされているため見落としやすく、多くの労力と大量の学習データを費やして考えようとしても、人は何を考え忘れているかを確実には思いつけません。
将来の(さらには現在の)一部のAIシステムの複雑さは、人間の理解を超える可能性が高い一方で、こうしたシステムが有効になるほど、私たちは効率性の圧力を受け、ますますシステムに依存し、制御を委ねることになります。対象領域が複雑な開かれた世界モデルに近づくとき、システムが(必然的に複雑な)現実世界で動作するとき、または課題と環境が複雑になり、人間による監督の能力や拡張可能性を超えるとき、私たちの価値観と堅牢に一致する明示的規則の集合を指定することはますます困難になります［。］したがって、AIシステムが与えられた目標を有害な副作用なしに達成するよう保証するには、もっと洗練されたアプローチが必要です。こうした問題に取り組む研究方針については、ラッセル、デューイ、テグマーク(2015年)、テイラー(2016年)、アモデイほかを参照してください。[…]
現在、AI研究では「好循環」が定着したと私たちは主張します。公的・民間の研究開発のどちらも、大きな経済価値を持つシステムにつながり、その価値がさらなる研究を資金面で支え、動機づけています。しかしこの循環では、企業や多くの大学研究グループの焦点から外れているものの、明白な公益性を持つ、AIシステムのより広い含意、安全性、倫理、政策上の含意に関する研究の資金が不十分なままとなり得ます。FLIはこの方向に沿った、推奨される「堅牢で有益な人工知能のための研究優先課題」の策定を支援しました(http://futureoflife.org/data/documents/research_priorities.pdfで入手可能)。また、MIRIのAI安全性関連の研究計画(https://intelligence.org/files/TechnicalAgenda.pdf)と、アモデイほか(2016年)が提案した研究計画も支持しています。これらすべての計画が扱う次の研究テーマについて、研究資金を増やすよう提唱します。すなわち、より優れたエージェントについての抽象的推論、曖昧さの特定、異常の説明、計算論的な謙虚さまたは自己中心的でない世界モデル、計算論的な配慮または安全な探索、計算論的な共感、概念幾何、訂正可能性(corrigibility)またはスケーラブルな制御、特徴の特定、機械学習モデルとAIシステムの形式検証、解釈可能性、論理的不確実性のモデル化、メタ推論、オントロジーの特定・再構成・アライメント、堅牢な帰納、学習に用いる情報源の来歴をめぐるセキュリティー、利用者モデリング、価値モデリングです。[…]
ホワイトハウスが、AGIの社会への影響を実質的に議論しているのは胸が躍る。AGIに関する政策勧告は妥当なものと思われる。こうした展開が、AIの未来について、その分野の研究者の間でもっと深く持続的な対話を生むきっかけになると私たちは予想している。