機械学習に古くから伝わる寓話の一つに、「戦車分類器」の話がある。森に隠れた敵戦車を検出するよう訓練されたとされるニューラルネットワークである。ところが、敵戦車の写真はすべて晴れた日に撮影され、同じ野原から戦車を除いた写真はすべて曇りの日に撮影されていた。つまりニューラルネットワークは実際には、晴れの日と曇りの日の違い（または単に、明るい写真と暗い写真の違い）を見分けるよう自らを訓練しただけだった。（出典。）
この問題は次のように捉えられる。ラベル付きデータを見た人間は、誰かが指し示そうとしているかもしれない複数の概念を見いだしただろう。戦車があるかないか、曇りか晴れか、写真が明るいか暗いか、である。すると人間は「これらの候補となるカテゴリーのうち、どれを意味したのか」と問い、その違いを言葉で説明できる。あるいは、話すより画像を生成する方が容易なら、意図された可能性のある概念を区別する新しい画像を生成できる。訓練データにおいて正例と負例を分ける単純な境界を学ぶことは帰納の一形態なので、この問題を「帰納的曖昧性」または「曖昧な帰納」に気づく問題と呼べる。
この問題は、事例をどう分類するかをオラクルへ問い合わせ、最小数の事例から概念境界を学ぼうとする、計算機科学の数多くの設定と幾分似ている。しかし「帰納的曖昧性」を特定することは、まったく同じ問題には思われない。少なくとも、同じ問題であることは明白でない。戦車分類器の問題を考えよう。画像の照明水準を区別することは非常に単純な概念なので、おそらく最初に学習される。次に、この問題を古典的なオラクル問い合わせとして扱うと、AIが中間的な照明水準を持つさまざまな無作為画素領域をユーザーへ提示する場面が想像される。何が起きているかまったく分からないユーザーは、これら中間的な照明水準を「戦車ではない」と分類する。そのためAIはまもなく、必要なのはかなり晴れた水準の照明だけだと学習する。
私たちが望んでいるのは、「境界についての基本的な考えが正しいと仮定し、境界事例をオラクルへ問い合わせて概念境界が正確にどこにあるかを突き止める」ことよりも、「境界を記述するもっともらしい考えが複数あるときに気づく」ことや、「ユーザーが訓練データセットを使って、複数のもっともらしい考えを伝えようとした可能性があるかを突き止める」ことに近いのかもしれない。
考えうるアプローチ
「帰納的曖昧性の特定」という考えに寄与しうる、関連するかもしれないアプローチには、次のものがある。
- 保守性。訓練データの周囲に、はるかに狭いが少し複雑な境界を引けるだろうか。
- 目にした訓練事例を、より強く、またはより厳密に予測する概念を得られるだろうか。（保守性と密接に関係する。訓練事例の生成器があると仮定すれば、より保守的な生成器は、たまたま目にした訓練事例へより多くの確率密度を集中させる。）
- すでに学んだ概念には含まれていない、正の訓練事例に共通する性質を検出できるだろうか。
- これは、 生成敵対的 アプローチのようなものと相性が良いかもしれない。学習した概念の無作為な事例を生成し、その無作為な事例と、実際に正のラベルが付いた訓練事例との違いを検出できるかを問うのである。
- すでに学んだ概念がそのまま再学習されないよう消し去り、代わりに学習可能な別の概念があるかを問う方法はあるだろうか。つまり、どのようなアルゴリズムを使っているにせよ、「 この 概念は学習せず、今度はこちらを学習してみよ」と伝え、実質的に異なる何かを学べるか確かめる良い方法はあるだろうか。
- グライス的含意について何やかや。
価値アラインメントとの関連
帰納的曖昧性は、自動的に解消されるのではなく、解決のためユーザーに回されることを意図している（自動解決に必要なデータが存在しないことこそが要点である）。したがって、それらは「ユーザーへの問い合わせ」の事例であり、 ユーザーへの問い合わせに関する標準的な懸念 がすべて当てはまる。
帰納的曖昧性を特定する優れたアルゴリズムに期待されるのは、それが エッジ実現 や 予見されなかった最大値、そしておそらく単純な意思疎通の誤りを捉える助けになることである。