本稿では、人工知能(artificial intelligence, AI)の透明性と信頼性についてよく見られる一つの見方をまとめたい。この分野の「総意」を特定するのは難しいので、ここでは、さらに調べる価値があると（私が）考えるいくつかの複雑な点と未解決問題を紹介する足掛かりとして、よくある見方の一つを提示する。
以下でまとめる見方を短く言えば、こうなる。
ブラックボックステストによって、システムが意図どおりに振る舞うという一定の確信は得られる。しかし、人間が調べたときに透明なシステムとして構築すれば、信頼性を検証する追加の方法を利用できる。残念ながら、AIで最も有用な手法の多くは、最も透明性の低い手法でもある。論理に基づくシステムは一般に統計的手法より透明だが、より広く使われているのは統計的手法である。この一般則には例外があり、統計的手法をもっと透明にしようと取り組む人々もいる。
システム設計における透明性の価値
Nusser（2009年）は次のように述べている。
……安全性に関係する応用分野では、領域の専門家が検証できる透明な解決策を提供することが不可欠である。人工ニューラルネットワークのような「ブラックボックス」型の方法は、利用可能なデータに対して非常に高い精度を示していても、疑いの目で見られる。考えられる入力のあらゆる組み合わせに対して、優れた性能を示すと証明することが現実的に不可能だからである。
残念ながら、AIの能力と透明性の間にはしばしば緊張関係がある。AIの最も強力な手法の多くは、最も透明性の低い手法でもある。
高い予測性能を達成することで知られる手法――たとえばサポートベクターマシン(support vector machine, SVM)や人工ニューラルネットワーク(artificial neural network, ANN)――は、通常、解釈が難しい。一方、解釈しやすいことで知られる手法――たとえば（ファジー）ルールシステム、決定木、線形モデル――は、通常、予測性能に限界がある。((引用元はNusser（2009年）。強調は引用者。原文には多数の引用文献があるが、本稿では読みやすさのため削除した。この点を4種類のAI手法について、頑健性と透明性という2軸のグラフで示すSchultz & Cronin（2003年）も参照。グラフはこちら。同論文で「頑健」とは、幅広い問題とデータ集合に柔軟に対応し、有用である度合いを指す。グラフのGAは「遺伝的アルゴリズム」、NNは「ニューラルネットワーク」、PCAは「主成分分析」、PLSは「部分最小二乗法」、MLRは「重回帰分析」を意味する。このAI手法の標本では傾向が明瞭であり、最も頑健な手法ほど透明性が低い傾向にある。SchultzとCroninがグラフ化したAI手法はごく少数だが、この傾向はもっと広く成り立つ。))
しかし、安全性が決定的に重要なシステム(safety-critical system)、とりわけ汎用人工知能(artificial general intelligence, AGI)では、能力よりもシステムの信頼性を優先することが重要である。再びNusser（2009年）から引用する。
［システムの透明性に］厳格な要件が必要なのは、安全性に関係するシステムとは、誤動作や故障によって深刻な結果――たとえば環境への害、設備の喪失や重大な損傷、人への危害や重傷、さらには死亡――を招きうるシステムだからである。この領域では、誤った判断を後から正すことが不可能な場合が多い。
AIに透明性が特に必要であることは、ほかにも多くの人が強調している。((ここでは、知的システムにおける透明性の重要性について、さらにいくつか引用する。Kröskeほか（2009年）は、機械知能を信頼するには「人間の操作者が［その］推論過程と、特定の行動を引き起こす要因を理解できる必要がある」と述べる。同様にFox（1993年）はこう書く。「工学の多くの分野では、安全性を［確かめる］ために純粋な経験的テストだけに頼る段階を越えた……それは、強力な設計理論を確立したからである……その結果、設計者は、システムを実装する前に、故障モードや性能の限界条件などを自信をもって予測できる……［AIでこうした利益を得る］有望な方法は、明確に定義された仕様記述言語と検証手続きを使うことかもしれない」。Van Harmelen & Balder（1992年）は、形式言語を使う利点として「曖昧さの除去……［および］実装がなくても設計の性質を導出できること［など］」を挙げる。Fox & Das（2000年）は序文でこう書く。「私たちの第一の責務は、システムの設計が健全であるよう努めることだ。『機能するか』だけでなく、『妥当な理由によって機能するか』も問わなければならない。残念ながら、従来のソフトウェア設計はしばしば場当たり的であり、AIソフトウェアの設計も大差ないか、さらに悪いかもしれない……したがって私たちは、明確な設計原則、その原則の強固な数学的基礎、そしてシステムの完全性を支え検証する効果的な開発ツールを重視する……私たちは、恩恵だけでなく大混乱を引き起こす前例のない可能性をもつ強力な技術［AI］を、おそらく自分たちが思う以上の速さで作りつつある。AIコミュニティがこの問題について活発な議論を始め、この分野に明示的な『安全文化』を築くよう強く求める」。)) Boden（1977年）もその一人である。
人工知能コミュニティの人々は……魔法使いの弟子と不吉なほど似ている。弟子は、面倒な仕事をせずに済ませる程度の魔法は覚えたが……魔法にかかったバケツとほうきが城を水浸しにするのを止めるほどには学ばなかった……
［私が問うことの一つは、］人間の手に制御を留めやすくするプログラムの書き方があるかどうかである……［その一つとして、］プログラムは理解可能で明示的でなければならない。「何が起きているか」がコードに埋もれたり、目的と効果の不明瞭な手続きの中へ暗黙に組み込まれたりしないようにするためだ。
ブラックボックスから透明までの連続体
透明でないシステムは「ブラックボックス」と呼ばれることがある。
ブラックボックスとは、内部の仕組みをまったく知らずに、入力、出力、伝達特性という観点から捉えられる装置、システム、物体である。その実装は「不透明」（黒）である。トランジスター、アルゴリズム、人間の心など、ほとんど何でもブラックボックスと呼びうる。
……［そして］実際には、［技術的に透明な］システムのなかにも、複雑すぎて［ブラックボックス］同然のものがある。((強調は引用者。第1段落はWikipediaのブラックボックスのページ、第2段落はホワイトボックスのページから引用。「グレーボックス」という語は、「完全なブラックボックス」と「完全に透明」な手法の中間にある手法を指す場合がある。たとえばSohlberg（2003年）を参照。))
人間の脳の大部分はブラックボックスである。その入力（光、音など）、出力（行動）、伝達特性の一部（誰かの目を狙ってバットを振ると、身をかがめたり防いだりすることが多い）は観察できるが、脳がどのように働くかはあまり分かっていない。脳の機能の一部（とりわけ視覚）についてはアルゴリズムとして理解し始めたものの、まだほんのわずかである。((したがって、もし今日全脳エミュレーション(whole brain emulation, WBE)を構築できても、その全情報がコンピューターに保存され、データベース検索ツールなどから利用できるにもかかわらず、大部分はブラックボックスのシステムとなるだろう。ただし、WBEが実際に構築されるまでに認知神経科学はおそらく大きく進歩するし、作動するWBEも認知神経科学の急速な進歩を可能にするだろう。そのため、人間の脳はほどなく私たちにとってもっと透明になるはずである。))
現代のAI手法の多くは、実質的にブラックボックス型である。Whitby（1996年）の説明によれば、「古き良き人工知能(Good Old-Fashioned AI, GOFAI)」（探索に基づく問題解決器や知識ベースシステムなど）で生じる安全上の問題は、「新しいAI手法が直面せざるを得ない［安全上の］問題に比べれば何でもない……何らかのニューラルネットや遺伝的アルゴリズムを使うソフトウェアは、しばしばほとんど定義上『判読不能』に見えるという、さらなる問題に直面する。つまり……それが機能することは分かり、多数の事例でテストもできるが、典型的な場合、正確にどのように機能するのかを知ることは決してできない」。
しかし、以下で見るように、比較的透明な手法もある。
AI手法は多すぎるので、本稿ですべての透明性を概観することはできない。代わりに、AI手法の主要な三つの「系統」に焦点を当てる。
AI手法の三つの系統について透明性を調べる
機械学習
機械学習はおそらくAIで最大かつ最も活発な下位分野であり、機械がデータから学ぶ多種多様な手法を含む。この分野の概観はFlach（2012年）を参照。短い動画による入門はこちら。
残念ながら、機械学習手法は最も透明な手法には入らない傾向がある。((たとえばベイジアンネットワークの構造を学習するなど、比較的「透明」な目的に機械学習を使う方法については、Murphy（2012年）第26章を参照。)) Nusser（2009年）はこう説明する。
機械学習による方法は、学習された解を十分に解釈して検証することが現実的に不可能な場合が多いため、安全性に関係する応用分野の専門家から疑いの目で見られている。
ここではまず、よく使われる機械学習手法の一つ、人工ニューラルネットワーク（ANN）を考えよう。（簡潔な動画による入門はこちら。）Rodvold（1999年）の説明によると、ANNは一般にブラックボックスである。
ニューラルネットワークの知能は、数値的なシナプス結合荷重、接続、伝達関数、そのほかのネットワーク定義パラメーターの集まりに含まれている。一般に、これらの量を調べても、ある結果がなぜ生じたのかを開発者に明らかにする明示的な情報はほとんど得られない。
Kurd（2005年）もこう述べる。
典型的なANNは、ブラックボックスとして扱われることが多い……ANNの振る舞いが、その重みと結合の全体へ観察者にとってほとんど意味のない形で分散しているからである。このように構造化も整理もされていない振る舞いの表現のため、その機能と動作を完全に理解し予測することは、しばしば現実的に不可能である……ANNに伴う解釈上の問題は、安全性が決定的に重要な状況での利用を妨げる……((Li & Peng（2006年）も同じ点を指摘する。「従来のニューラルネットワークは……透明性に欠ける。活性化関数（AF）と、それに対応するニューラルパラメーターには、物理的な意味がほとんどないからである」。パーソナルロボットの文脈でこの問題を論じるWoodmanほか（2012年）も参照。「自律ロボットに求められる要件の一つは……一定程度の頑健性である。これは、エラーに対処し、異常な状況でも動作を続けられることを意味する……動的な環境では、ロボットはこれまで見たことのない多種多様な状況に頻繁に直面する。この分野の研究の大半はこれまで、しばしば人工ニューラルネットワーク（ANN）として実装される学習アルゴリズムを用いて、この問題に対処してきた……しかしNehmzowほか（2004年）が指摘するように、こうした実装は一見有効であるものの、結合に基づくアルゴリズムに本質的な不透明性のため、分析するのが難しい。つまり、安全性分析に使える、理解可能なシステム構造のモデルを作ることが難しいのである」。))
深層学習も、よく使われる機械学習技術の一つである。これも透明性が低い傾向にある。ANNと同じく、深層学習手法は脳の一部、特に視覚系の働きに着想を得ている。((Murphy（2012年）995頁はこう書く。「脳を見ると、多層の処理があるように見える。それぞれの層は、抽象度を徐々に高めながら特徴や表現を学んでいると考えられている。たとえば視覚野の標準モデルでは……（大まかに言えば）脳はまず輪郭を抽出し、次に部分、表面、物体などを抽出するとされる……この観察から、機械学習における深層学習という近年の潮流が生まれた……この種の構造をコンピューター上で再現しようとするものである」。))
機械学習手法のなかにも、ほかより透明なものがある。Bostrom & Yudkowsky（2013年）はこう説明する。
［ある］機械学習アルゴリズムが複雑なニューラルネットワークに基づくなら……そのアルゴリズムがなぜ、あるいはどのように［判断を下した］かを理解するのは、ほとんど不可能かもしれない。一方、決定木やベイジアンネットワークに基づく機械学習器は、プログラマーが調べたときにはるかに透明であり（Hastieほか、2001年）、監査する人が［アルゴリズムがその判断を下した理由］を発見できるかもしれない。((ベイジアンネットワークがANNより透明であることは一般に認められているが、これが成り立つのも一定の範囲までにすぎない。人間にとって直感的な概念と結びつかないノードが数百個あるベイジアンネットワークは、大規模ANNより必ずしも透明ではない。))
さらに近年は、一部の機械学習手法をもっと透明にし、安全性が決定的に重要な応用に適したものにしようとする研究もある。たとえばTaylor（2005年）は、人間にとって直感的な概念に言及するルールをニューラルネットワークから抽出し、抽出したルールに対して研究者が形式的な安全性分析を行う手法を提案している。こうした手法はまだかなり原始的で、広く適用も利用もされていないが、研究が進めば、もっと有用で一般的になる可能性がある。((この研究の概観はNusser（2009年）2.2.3節を参照。Pulina & Tacchella（2011年）も参照。最後にNg（2011年）4節は、特定のノードの活性化を最大化する入力は何かを問うことで、ANNがどんな関数を学んだかをある程度把握できると指摘する。Ngは例として、画像データで訓練したスパース自己符号化器が学習した視覚的特徴を、この技法で可視化している。))
進化的アルゴリズム
進化的アルゴリズム(evolutionary algorithm, EA)は機械学習手法に分類されることが多いが、ここでは別に扱う。EAは進化に着想を得た手法を使い、問題の解候補を生成する。たとえば、ソフトウェア上のロボットが高速で「歩ける」よう進化するこの動画を見てほしい。
進化的アルゴリズムは、半ばランダムな突然変異と組み換えによって解候補を作るため、複雑な解候補は透明になりにくい。進化によって生まれた脳と同じである。Mitchell（1998年）40頁はこう述べる。
［遺伝的アルゴリズムによる］進化の結果を理解することは、一般的な問題である。通常、［遺伝的アルゴリズム］は高い適応度をもつ［解候補］を見つけるよう求められるが、その高い適応度をどのように実現すべきかは教えられない。これは、生物学者が自然進化の産物（たとえば私たち）を理解する際の難しさに似ているとも言える……多くの場合……進化して高い適応度を得た［解候補］が正確にどのように機能するかを理解するのは難しい。たとえば遺伝的プログラミングで進化したプログラムは、非常に長く複雑な場合が多く、望ましい計算を行う中核プログラムに無関係な構成要素が多数付着している。その中核プログラムが何かを人手で突き止めるには、通常、多大な作業を要し、ときにはほとんど不可能である。
Fleming & Purshouse（2002年）はこう付け加える。
ミッションや安全性が決定的に重要な応用は、進化的アルゴリズムの確率的な性質のため、一見するとEAの利用に適していない。結果がオンラインで利用できるほどの品質になるという保証はない。
論理的手法
AIの論理的手法は、安全性が決定的に重要な用途（医療など）で広く実装されているが、一般的な利用は機械学習手法よりはるかに少ない。
論理に基づくAIでは、その知識と推論の仕組みを論理文として書き表す。こうした文は一般に人間が手作業でコード化し、それぞれの意味は、使用する論理体系（たとえば一階述語論理）の公理によって厳密に定まる。代表的なAI教科書であるRussell & Norvig（2009年）は、AIへの論理的アプローチを第7章で説明している。また、「古典的プランニング」と呼ばれる論理的AIの一般的な応用を第10章で説明している。Thomason（2012年）とMinker（2000年）も参照。
Galliers（1988年、88～89頁）は、AIにおける論理的手法の透明性という利点をこう説明する。
論理公理の集合として表現された理論は明白であり、調べることができる。そのため、理論の一部に矛盾がないか、英語で表現したときの予想と異なる振る舞いをしないかを判断しやすくなる……論理は厳密な意味論をもつ言語［であるため］、解釈の曖昧さはありえない……エージェントの性質を……論理公理と定理として表現することで……理論は透明になる。性質、相互関係、推論を調べられる……これはコンピューターコードを使う場合と対照的である。［コードでは、］問題解決に関わるコンピューターシステムが実際には、相互作用するエージェントの性質をシステム全体に暗黙の性質としてもつよう設計され、個々の側面の役割や影響を調べることが不可能な場合が多い。((Wooldridge（2003年）も同意し、「透明性は［論理的アプローチの］もう一つの利点である」と書いている。))
AIにおける論理的手法には、論理言語によって、自分自身や自らの信念の理由について考察できる機械を含め、さまざまな機械を表現できるという透明性上の利点もある。たとえば、データごとに仮定も一緒に受け渡せる。Fox & Das（2000年）の「ドミノ」エージェントなどを参照。
さらに、論理に基づくアプローチのなかには、形式手法、たとえば形式検証を利用できるものがある。形式検証とは、形式仕様に照らしてシステムが正しく動作することを数学的に証明することである。((形式手法全般の近年の概観は、Bozzano & Villafiorita（2010年）、Woodcockほか（2009年）、Gogolla（2006年）、Bowen & Hinchey（2006年）を参照。安全工学の理論をAIに広く応用することについては、Fox（1993年）、Yampolskiy & Fox（2013年）、Yampolskiy（2013年）を参照。)) 形式手法は、ソフトウェアの経験的なテストを補完する。たとえば、経験的方法だけでは見つけにくい「コーナーケースのバグ」を特定できる。Mitra（2008年）を参照。
形式検証は、ハードウェア部品の検証に使われることで最もよく知られているだろう（特にIntelに5億ドルの費用を負わせたFDIVバグ以後）。しかし、飛行制御システム（Millerほか、2005年）、鉄道制御システム（Platzer & Quesel、2009年）、ペースメーカー（Tuanほか、2010年）、コンパイラー（Leroy、2009年）、OSカーネル（Andronick、2011年）、マルチエージェントシステム（Raimondi、2006年）、屋外ロボット（Proetzschほか、2007年）、群ロボット（Dixonほか、2012年）を含め、さまざまなソフトウェアプログラムの全体または一部の検証にも使われる。
残念ながら、形式手法には厳しい限界がある。Fox（1993年）はこう説明する。
危険な状況の発生を形式設計技法によって完全に防ぐ能力には、厳しい限界がある。現在の形式設計手法は使いにくく、時間がかかり、比較的小規模な応用にしか実用的でないかもしれない。システムの安全上決定的な要素だけに形式的技法を使うとしても、それが保証する健全性は、使用時に成立しうる条件と危険を仕様作成者が予想する能力を超えられない……設計者が原理上、システム性能に影響しうるあらゆるパラメーターを知れると確信できる「閉じたシステム」でさえ、こうした問題は十分に難しい……残念ながら、あらゆるシステムは程度の差こそあれ「開いて」いる。網羅的には監視できず、予測不能な出来事が起きる環境で動作する。さらに、仕様作成と検証の手法に頼ることは、運用環境がソフトウェアの正しい実行を損なわないと仮定している。もちろん実際には、データの消失や破損を引き起こす一時的な障害、ユーザーの誤り、外部システム（データベースや計測器など）との接続上の問題、ソフトウェアのバージョン間の非互換性などによって、ソフトウェアエラーは起こりうる。((Foxが述べるもう一つの重要な点は、通常のAI安全工学の技法が、将来起こりうるあらゆる状況を設計チームが予測できることに依存するというものだ。「……一連の安全手法（危険分析、形式仕様と検証、厳密な経験的テスト、フォールトトレラント設計）を使えば、危険や災害の可能性は大幅に下がると結論したくなるかもしれない。しかし、こうした全手法に共通する弱点が少なくとも一つある。システムが使用されるときに成立しうる……あらゆる状況について、設計チームが長期的な予測を行えることに依存している。これは現実的でない。数え切れない相互作用が起こりうるというだけでもそうだ……［そして］予見できない相互作用の余地は莫大である」。))
Bowen & Hinchey（1995年）も同意する。
形式化は可能でも、資源、時間、費用の面からまったく実用的でない分野が数多くある……成功した形式手法プロジェクトの大半では、システム開発の決定的に重要な部分へ形式手法を適用している。システム開発の全側面に、形式手法だけを適用することはめったにない。形式手法の大規模な応用としてよく引用されるCICSプロジェクトでさえ……実際に形式的技法の対象となったのは、システム全体のおよそ10分の1にすぎなかった……
［私たちは］次の格言を提案する。システム開発は、可能な限り形式的にすべきだが、必要以上に形式的にすべきではない。
AI安全性のための形式手法の利用については、Rushby & Whitehurst（1989年）、Bowen & Stavridou（1993年）、Harper（2000年）、Spears（2006年）、Fischerほか（2013年）を参照。((ブリストル大学のこのプログラムも参照。))
複雑な点と未解決問題
ここまで述べた透明性とAI安全性についての一般的な見方は、差次的技術開発(differential technological development)の機会を示している。将来のAIシステムが安全で信頼できる確率を高めるため、透明なAI手法に不均衡なほど多く投資し、通常は不透明なAI手法の透明性を高める技術にも投資できる。
しかし、この一般的な見方には重大な留保があり、難しい未解決問題もある。たとえば次のようなものだ。
- 手法の透明性は、規模によってどう変わるのか。200個のルールからなる論理的AIは、200ノードのベイジアンネットワークより透明かもしれない。しかし、10万個のルールと10万ノードを比べたらどうだろう。少なくともベイジアンネットワークには、「Xについて何を信じているか」と問い合わせることができるが、論理に基づくシステムで必ず同じことができるとは限らない。
- 上の分類は、透明性に関して本当に「自然な境界を切り分けている」のか。原理上、論理に基づくシステムとベイジアンネットワークのどちらでも、世界の確率モデルを表現できる。それでも、どちらの種類に属するかによって透明性を確実に予測できるのか。
- システムの透明性のうち、システムに「内在」する部分はどれほどで、調べるためのユーザーインターフェースの質に依存する部分はどれほどか。極めて優れた設計のユーザーインターフェースによって、種類の異なるシステムはどれほど「透明性を底上げ」できるのか。((余談だが、過去のコンピューター関連事故の多くには、ユーザーインターフェースの分かりにくさが影響してきた。たとえばNeumann（1994年）は、米軍がイラン航空655便を撃墜した事件について、米艦ヴィンセンスのイージス・ミサイルシステムの不明瞭なユーザーインターフェースが一因だったと報告している。その後、インターフェースの変更が勧告された。UIが関係したほかの災害は、Neumannによるコンピューターシステムと関連技術の利用が公衆にもたらすリスクの事例集を参照。))
謝辞
有益なフィードバックをくださったジョン・フォックス（John Fox）、ジェイコブ・スタインハート（Jacob Steinhardt）、ポール・クリスティアーノ（Paul Christiano）、カール・シュルマン（Carl Shulman）、エリーザー・ユドコウスキー（Eliezer Yudkowsky）、そのほかの方々に感謝する。