MIRIの使命は、「人間より賢い知能の創出が、確実に良い影響をもたらすようにすること」です。この使命を果たすための中心的な戦略の1つが、「AGIの影響の専門家」と「Friendly AIの専門家」とでも呼ぶべき人材を見いだし、育てることです。
AGIの影響の専門家 は、技術の発展を予測するための技能、たとえばAI開発の計算モデルを構築したり、知能爆発のミクロ経済学を考察したりする技能を磨きます。また、AGIが社会にもたらしそうな影響を予測し、AGIの創出を人類が安全に乗り越える確率を最も高めそうな介入を見極める技能も磨きます。概説はBostrom & Yudkowsky（2013）、Muehlhauser & Salamon（2013）をご覧ください。
Friendly AIの専門家 は、AGIを 信頼できる もの、つまり「人間に友好的」なものにするための数学的アーキテクチャの開発に役立つ技能を磨きます。この研究は、MIRIの研究ワークショップや、Christiano et al.（2013）、Hibbard（2013）などのさまざまな論文で進められています。なお、「Friendly AI」という言葉を選んだ理由の1つは、この分野を私たちがよく理解しているかのような印象を避けるためです。「Ethical AI（倫理的AI）」のような表現だと、百科事典で調べれば多くを学べる対象のように聞こえるかもしれません。しかし、信頼できるAIについての現在の理解は、そう呼ぶにはあまりにも乏しいのです。
では、ここでいう「専門家」とは何でしょうか。
代表的な課題で一貫して優れた成績を示すこと
専門家とは、「ある事柄について、高度な技能または知識を持つ人」です。チェスのように、専門的な力量を測る客観的な尺度がある分野もあれば、哲学のように同業者の評価に頼る分野もあります。しかし、Ericsson（2006）は次のように指摘しています。
同業者から専門家と認められている人が、その分野に関する課題で常に優れた成績を示すとはかぎらない。将来価値が高くなる株式の選択、心理療法での患者の治療、予測など、その専門分野の中心となる課題ですら、初心者と変わらない場合がある。
したがって、AGIの影響の専門家やFriendly AIの専門家に求める専門性の 種類 は、Ericsson（2006）が「代表的な課題で一貫して優れた成績を示すこととしての専門性」（RSPRT）と呼ぶものだと明示すべきです。同業者のお墨付きを持つ「AGIの影響の専門家」が大勢いても、AGIの帰結を予測する力が実際には一般の人と変わらないのでは、人類の役にあまり立ちません。「Friendly AIの専門家」が大勢いても、FAIに関わる新たな数学的成果を生み出す力が乏しければ同じことです。
RSPRTとしての専門性の例として、チェスを考えてみましょう。チェスのレーティングは、RSPRTを確実に反映しているでしょうか。答えはイエスです。たとえばレーティングは、提示された盤面で最善の手を選ぶ能力と高い相関があります（de Groot 1978、Ericsson & Lehmann 1996、Van der Maas & Wagenmakers 2005）。
同様の方法で、医学（Ericsson 2004、2007）、スポーツ（2007）、スポーツ（Côté et al. 2012）、スクラブル（Tuffiash et al. 2007）、音楽（Lehmann & Grüber 2006）でも、「RSPRTとしての専門性」が確認されています。
それでは、AGIの影響の専門家やFAIの専門家が優れた成績を示すべき「代表的な課題」として、どんなものがあるでしょうか。
学識としての専門性
最低限、AGIの影響の専門家とFriendly AIの専門家には、それぞれの分野について、いわば 学識としての 専門性があってほしいところです。つまり、基本的な論争の内容や、よく提示される論拠と反論、その提唱者を知っているべきだということです。一般に、ゾロアスター教の神学からタイムトラベルの理論まで、どんな分野の専門家にも、少なくとも この種の 専門性はあります。
たとえば、ニック・ボストロムは10年以上にわたり、断続的にAGIの影響を研究し、このテーマについて多くを執筆してきました。会話でも著作でも、AGIの影響について、かなり確かな学識としての専門性を示しています。
対照的に、AI研究者は、AGIの影響に関わる基本的な論争、論拠、反論には、一般にあまり詳しく ありません。（詳しいはずだと言える理由があるでしょうか。それは彼らの仕事ではないのです。）したがって、たとえばAIの長期的未来に関するAAAI会長諮問委員会によるAGIの影響の見通しに、大きな価値があるとは考えにくいでしょう。この委員会には、AGIの影響について学識としての専門性があると知られる参加者はおらず、より広い機械倫理のコミュニティに関わる参加者も、アラン・マックワースただ1人、それもわずかに関わる程度でした。
しかし、この分野で学識としての専門性を 持つ 人の意見にも、価値を置くべきではないのかもしれません。そうした人でも、どの論拠や反論が論じられているかを知っているということ以上に実践的な課題では、一貫して優れた成績を示せないかもしれないからです。
理想的には、AGIの影響の専門家やFAIの専門家には、学識としての専門性を示す以上のことを求めたいところです。両者に関わるRSPRTとしての専門性には、ほかにどんなものがあるでしょうか。
証拠への感度
一般に人間は、完全に合理的なエージェントのように、中程度の強さの証拠を受けて、自分の信念を正確に更新することができません。だから科学が必要なのです。科学では、「科学者が……無視できなくなるほど、途方もなく大量の証拠*を積み上げる」という方法を採ります。
しかし、将来の技術の設計や、それがもたらしそうな影響についての仮説を検証する際には、普通、「山のような」証拠は手に入りません。別の記事で説明されているように、「証拠が少ないほど、あるいは解釈が難しいほど、正しい答えを得るには、より高い合理性が必要になる。（尤度比が小さくなるにつれ、事前確率はより適切でなければならず、更新はより正確でなければならない）」。
人間の合理性は向上させられるのでしょうか。約20年にわたる「脱バイアス」の研究（Larrick 2004）を踏まえると、おそらく可能だが、まだ本腰を入れて試していないのだろう、というのが私の見立てです。
合理性の訓練には、手を伸ばせば得られる成果があると考えるのはなぜでしょうか。一流の音楽家や運動選手が音楽や運動の能力を高めるために注ぐのと同じくらいの努力を、合理性の向上に注ぐ人は、いたとしてもごくわずかです。一流の音楽家は何年も、毎日4時間練習します（Ericsson et al. 1993）。水泳の王者マイケル・フェルプスは毎日3～6時間をプールで過ごしました。サン・マイクロシステムズの共同創業者ビル・ジョイは、大学時代に毎日10時間プログラミングを練習しました（Gladwell 2008、46ページ）。チェスの王者ボビー・フィッシャーも、ある時期には1日14時間チェスを練習していたそうです。しかし、確信度の較正訓練や、優れた合理性の習慣を身につけることに、毎日4～10時間を費やす人はいるでしょうか。
理想的には、AGIの影響の専門家もFriendly AIの専門家も、優れた合理性の習慣を訓練して証拠への感度を高め、そもそも入手できない「山のような証拠」をまず集めなくても、将来の技術について実りある推論ができるようになるべきです。
FAIの専門家とは、どんな人か
次に、特にFAIの専門性に必要な具体的な技能を見てみましょう。こうした専門家が数学で新たな成果を生み出せなければならないことは明らかです。幸い、数学の研究能力は、たとえば心理学や哲学の研究能力よりも測定しやすく、「客観的」です。
FAIの専門家には、ほかにどんな専門性を求めたいでしょうか。
ユドカウスキーは、FAIの専門家を次のように説明しました。
Friendly AIの［専門家］とは、数学的構造と「現実世界で起こること」との対応を見抜くことを専門にする人だ。フッターによるAIXIの仕様を見て、実際の数式を読み……「ああ、このAIは自分の報酬経路を支配しようとする」と気づく人であり、それだけでなく、「このAIは、自分と環境を隔てるデカルト的境界を前提としている。自分の頭に金床を落としてしまうかもしれない」といった、もっと微妙な問題にも数多く気づく人だ。同様に、TDTの研究とは、たとえば意思決定理論の数学的な仕様を見て、「ああ、これは脅迫に弱い」と気づき、それほど脅迫に弱くないAIの対案となる数学的仕様を考案することだ。
……どのAI設計がより安全なのかについて、意味のある議論をしたいなら、その議論に適用できる専門的技能がある。［上で述べた技能などだ。］そうした問いに答えることを専門とする人が、何年もの学習と実践を通じて身につける技能である。
ユドカウスキーの言葉でいう「数学的構造と『現実世界で起こること』との対応を見抜くことを専門にする」人の例を、いくつか挙げましょう。特に私たちが関心を持っているのは、ある種の「汎用知能」を持つ数学的対象がもたらす帰結であって、Stuxnetのような狭い領域のアルゴリズムが現実世界にもたらす帰結への関心は、それほど大きくありません。AGIの振る舞いを数学でモデル化できるかぎり、これはきわめて重要な技能です。
ユドカウスキーはフッターによるAIXIの仕様を読み、「このAIは自分の報酬経路を支配しようとする」、「自分と環境を隔てるデカルト的境界を前提としているため、自分の頭に金床を落とすかもしれない」と見抜きました。しかし、そのことを技術的に示す論証は書き残しませんでした。
ローラン・オルソー（AgroParisTech）とマーク・リング（IDSIA）は、Ring & Orseau（2011）とOrseau & Ring（2011）で、これらの問題、すなわちAIXIに似たエージェントが自分の報酬経路をハッキングすることと、デカルト的境界がもたらす難題を、独立に示しました。また、Orseau & Ring（2012）では後者の問題の形式化にも取り組み、ウィスコンシン大学のビル・ヒバードもHibbard（2012）で同様の取り組みを行いました。
MIRIの研究員や研究協力員によるこの種の研究には、Dewey（2011）、de Blanc（2011）、Yudkowsky（2010）があります。
この技能を客観的に測るのは難しいかもしれません。しかし、それは大学の運営者や、ヘッジファンド・テクノロジー企業の採用担当者が、数学の研究者に見いだそうとする技能の 多く にも当てはまります。それでも、こうした組織は優秀で才能豊かな人材を見つけることにかなり成功しています。ですから、この技能を持つ人を見いだすことにも、ある程度の見込みはあるでしょう。
FAIの専門家が「一貫して優れた成績」を示すべき課題は、ほかにもあります。たとえば、哲学的概念を形式化できなければなりません。この技能にも標準的な測定法はありませんが、学べる過去の実例は数多くあります。前世紀は、それまで謎めいていた哲学的概念を形式的な概念へと変えるうえで、かなり実りの多い時代でした。複雑さと単純さについてはKolmogorov（1965）、帰納についてはSolomonoff（1964a、1964b）、合理性についてはVon Neumann and Morgenstern（1947）、情報についてはShannon（1948）を参照してください。また、テネンホルツによる「プログラム均衡」の考案もあります（概説はWooldridge 2012）。
Friendly AIの専門性を身につけたい読者は、MIRI研究者への推奨科目に挙げた授業を受講するか、教科書を読むことを検討してください。
AGIの影響の専門家とは、どんな人か
まず、AGIの影響の専門家は、技術の進歩、特にAIの進歩の予測において、一貫して優れた成績を示すべきです。
残念ながら、長期的な技術予測を成功させる信頼できる方法は、まだ見つかっていません（Muehlhauser & Salamon 2012）。しかも専門家も一般の人も、AIの予測は とりわけ 苦手です（Armstrong & Sotala 2012）。価格性能比として定式化したムーアの法則は、長年にわたり驚くほど安定して成り立ってきました。しかし、この傾向から特定の技術を予測するには、ほとんどの場合ムーアの法則ほど確かではない追加の仮定が必要です。著名な技術予測家レイ・カーツワイルは、自分の予測精度が高いと主張していますが、それはおそらく誇張です。
これはどれも驚くには当たりません。優れた予測成績には、自分の予測に対する定期的なフィードバックが、ほかの要因とともに必要らしいからです。長期予測では、すぐにはフィードバックが得られません。
幸い、予測者が成績を改善する機会は数多くあります。Horowitz & Tetlock（2012）は、自分たちの実証研究と予測訓練をもとに、次のように助言しています。
- 明示的に数値化する：「長期的な未来を評価する際の確信度をより適切に較正する最善の方法は、長い期間にわたって精度を客観的に採点できる、数値による確率推定を習慣にすることだ。明示的な数値化によって精度への明確なフィードバックが可能になり、それが学習を可能にする」。
- 未来への道標を置く：具体的なシナリオを考え抜くことは、そのシナリオに「政策立案者が、あるシナリオに近づいているのか、遠ざかっているのかを測るために使える、明確な診断の道標が付いている」なら有益になりえます。「……反証可能な仮説は、空高く浮かぶ抽象的なシナリオを地上に引き戻す」。
- 集約を活用する：「予測の平均は、その平均の計算に使われた個々の予測の大多数よりも正確なことが多い。……［予測者は］、［ACEというIARPAの予測大会の］優れた予測者の一部が身につけている習慣も取り入れるべきだ。自分の予測を、集団の平均、加重平均アルゴリズム、予測市場、金融市場と比べる習慣である」。
Armstrong & Sotala（2012）はさらに、現象を分解し、多くの部分に分けてそれぞれを予測すると役立つ場合があると述べています。少なくとも一部については、フィードバックが得られるかもしれないからです。The Uncertain Futureが採るAI予測の方法は、これです（Rayhawk et al. 2009）。
ArmstrongとSotalaはまた、大量の地道な作業と資金を要する「積み重ね（grind）」と、まったく新しい予想外のアイデアである「洞察（insight）」を区別しています。積み重ねは比較的予測しやすい一方、洞察を予測するのは困難です。ある現象が主に積み重ねによって進み、新たな概念的突破口を必要としないほど、積み重ねに基づく予測は信頼できるものになりえます。たとえば、AIは「洞察」の技術であるように見えますが、全脳エミュレーションは大部分が「積み重ね」の技術で、そのぶん予測しやすいかもしれません。
AGIの影響の専門性に必要な技能については、まだまだ述べることがあります。ひとまずは上の例と、Bostrom（1997）の次の一節を、読者にお伝えしておきます。
［近年、］知的な舞台に、まだ演じ手のいない主役が生まれた。広く科学を扱う科学者、すなわち 博学者 の役である。科学の多くの分野に洞察を持ち、それを使って、より複雑な問題の解決策を考え出す能力を持つ人だ。そうした問題は、普通は科学者には難しすぎるとみなされるため、政治家や一般向けの報道機関に委ねられるか、単に無視されている。残念なことに、無視しても問題は消えない。そして……その一部は、知的生命の存続そのものを脅かす課題である。
［そうした問題の1つが］ 超知能 ……であり、［それは］私たちは間もなく超知能を創出する能力を持つと多くの専門家が考えている状況では、実践上の緊急性を帯びる。
［この学問分野では］どんな問いを扱えるだろうか。たとえば、人間のような心の処理速度を100万倍にしたら、さまざまな分野での予測能力はどれだけ高まるだろうか。短期記憶や長期記憶を拡張したらどうか。ニューロンの数や接続密度を増やしたらどうか。超知能はほかにどんな能力を持つだろうか。……超知能の動機について、何か知ることはできるだろうか。善良であったり、人々のために尽くしたりするよう、あらかじめプログラムすることは可能か。それとも、そうした規則と認知過程の柔軟性は両立しにくいだろうか。人間が操られないように最初から厳重な予防措置を取っていても、超知能がそう望めば、人間を出し抜き、自分の目的の達成に協力させることができるだろうか。ある超知能を使って、別の超知能を制御できるだろうか。……知恵の王座を退くことを余儀なくされたら、人間としての自己認識や願望はどう変わるだろうか。……超知能を持つ心どうしが、すさまじい速さで意思疎通し、融合し、細分化できるなら、私たちはどうやって個体を区別するだろうか。そのように相互接続された心にも、人格の同一性という概念は当てはまるだろうか。……私たちも思考を加速させ、記憶などを増強すれば、超知能に対抗できるだろうか。それとも、人間だとはもはや感じられなくなるほど根本的な再編成が必要だろうか。それは問題だろうか。
これらは適切な問いではないかもしれない。しかし、少なくとも出発点にはなる。
結びに
MIRIは、こうした専門家に活動の場を提供し、その研究を可能にすることだけを目的として存在しています。FHIとCSERも、ほかのテーマとともに、この点を重視しています。3つの組織はいずれも資金に制約がありますが、ある程度は人材にも制約があります。AGIの影響やFriendly AIの専門性を積極的に磨いている人は、世界にごくわずかしかいないからです。この記事の目的は、この重要な研究計画に貢献したいと考える人たちのために、進む道を照らすことです。
注記
有益なコメントを寄せてくれたカール・シュルマン、カイ・ソタラ、エリエザー・ユドカウスキー、ルイ・ヘルム、ベンジャミン・ノーブルに感謝します。