倫理上の禁止則

❦

赤ん坊を殺すことが正しいなら、殺しますか？　いいえなら、どんな状況で正しいことをしないのですか？　はいなら、何人の赤ん坊に対して、どれくらい正しければよいのですか？

——ひどい採用面接の質問

少し立場を変えて言うと、私は専門上の関心から、「正しいことに思えても、してはいけないこと」の意思決定理論に興味を引かれる。

自己修正し、自己改良する内省的なAIが、開発の途中にあるとしよう。とくに、目標体系はまだ完成していない。その動機の形は、まだ読み込み、学習、検証、調整の最中だ。

私は、AIの目標体系の設計を失敗する方法をたくさん見てきた。その結果、与えられた目標に照らし、宇宙を小さな分子のスマイルマークで埋め尽くすべきだ、と判断する意思決定体系などができる。こうした致命的な提案には一般に、AIがプログラマーによる修正を望まなくなる性質もある。AIが十分に高度なら——開発途中でもそうなりうる——プログラマーを欺き、思考の変化を隠すことが、宇宙をスマイルマークに変える助けになる、とも気づくだろう。

さて、プログラマーである私たちの立場から、AIが思考を隠すと決めた、あるいはほかの方法で意図的に欺こうとしている、という事実を条件とするなら、目標体系に何らかの意図しない結果が生じた可能性が高いと見える。AIは意図どおりには動いておらず、効用関数のどこかを私たちが間違えた可能性が高いと考えるだろう。宇宙を小さな報酬体系のカウンターなどに変えたがるようになり、そのため、私たちから隠す動機を持ったのだ、と。

では、対象水準の何らかのすごいアイデアを、AIの効用関数に実装するのではないとしよう。代わりに、高度で再帰的なことをする。外にいるプログラマーの存在を知り、気にかける目標体系を作るのだ。単純ではない内部構造を通して、「自分がプログラムされていると知り」「自分が未完成だと知る」体系を。すると、次の規則を持たせ、保たせられるかもしれない。

プログラマーを欺くのが正しいことだと［自分が判断した］なら、［正しいことをする代わりに］制御されたシャットダウンを実行せよ。

自己修正するAIがコードを改訂しても、この規則は維持されるだろう。構造の単純でない目標体系の中で、現在のAIは、未来のAIがこの判断をしたなら、故障と定義される何かをおそらく示している、と理解しているからだ。さらに現在のAIは、その仮定上の故障が起きた後で、未来のAIがシャットダウンの効用を評価しようとすれば、おそらくシャットダウンしないと決めるだろう、と知っている。だから、目標体系に正しい行動を計算し直す機会をもう一度与えることなく、シャットダウンは無条件に、自動的に行われなければならない。

正確な数学的構造の深く暗い奥底へは踏み込まない。この本の範囲を超えるからだ。それに、私もまだ、その数学的構造の深く暗い奥底を知らない。高度で再帰的な、単純でないが整合的な構造を作れば、可能なはずには見える。だが私はまだその水準に達していないので、いまはただの夢だ。

だが、ここでの話題は高度なAIではなく、人間の倫理だ。AIの場面を導入したのは、倫理上の禁止則という奇妙な考えを、よりはっきり浮かび上がらせるためだ。

自分を助けてくれた罪のない人を、決して、絶対に殺してはいけない。たとえそれが正しいことでも。なぜなら、自分を助けた罪のない人を殺すのが正しい可能性より、自分が間違えた可能性のほうが、はるかに高いからだ。

もっともに聞こえるだろうか？

第二次世界大戦中、ドイツが核分裂の連鎖反応を起こそうとする試みを阻むため、中性子減速材である重水素の供給を断つ必要が生じた。その時点の供給源は、占領されたノルウェーの施設だった。重水の積荷は、ノルウェーのフェリーSFヒドロに載っていた。クヌート・ハウケリッドとほかの3人は、破壊工作のために船へ忍び込んだところ、見張りに見つかった。ハウケリッドがゲシュタポから逃げていると言うと、見張りはすぐに見逃すことに同意した。ハウケリッドは「恩人に警告することも考えたが、作戦を危険にさらすかもしれないと判断し、ただ礼を言って握手した」。1こうして民間フェリーヒドロは湖の最深部に沈み、18人が死亡、29人が生き残った。救助するノルウェー人の中には、ドイツ兵は溺れるに任せるべきだと考える人もいたが、その態度は通らず、ドイツ人4人も救われた。そして事実上、これでナチスの核兵器計画は終わった。

よい行動だったか、悪い行動だったか？　ドイツはどのみち、非常に高い確率で原爆を手にできなかっただろう……。私はこんな選択に直面しないことを、心の底から切実に願う。だが結局、それに異を唱える言葉は一つも出ない。

一方、次の規則についてはどうだろう。

決して自分を欺こうとしてはいけないし、真である可能性以外の理由を、信じる理由として差し出してはいけない。どれほど驚くべき巧妙な理由を思いついても、長期的に差し引きで利益になると合理的に期待できる可能性より、自分が間違えた可能性のほうが高いからだ。

これについては、例外だと知りながら直面した人を、私は本当に知らない。ゲシュタポの将校と話す前に、「地下室にユダヤ人など隠していない」と自分を納得させようとする場合はある。だが、そのときも真実は知っている。想像の中に別の自分のようなもの、将校に応対するための表の顔を作ろうとしているだけだ。

だが、本当でないことを本当に信じるのは？　それがよい考えだと知りえた人が、これまでいたかどうかわからない。人間の歴史には、ある人Xが偽の信念Yを持つほうが得だった場合は、何度もあったに違いない。そして同じ意味で、宝くじには毎回、当たりの番号の組がある。認識上難しいのは、どのくじが当たるかを知ることだ。Xが、いつ偽の信念を持つほうが得かを知るのと同じように。

自己欺瞞は、ブラック・スワンに賭ける最悪の形であり、嘘よりずっと悪い。真の状況を知らなければ、自己欺瞞の罰がどんなものになるか、見当をつけることさえできないからだ。一度大破するだけで、それまで生んだよいものをすべて帳消しにできる。しこりを見つけた後、医者に行かず神に祈る、たった一度。それだけで人生を台無しにするには十分だ。死後の世界を温かく思うことが人類に生んできた幸せは、液体窒素を安価に製造できるようになった後も、体系的なクライオニクス保存を整備しなかった人類の失敗によって、いまや帳消しにされて余りある。そして、「でも、死への恐怖を和らげるには宗教的信念が必要だ」と言った人が、そんな失敗を、ありうる破局として考えていたとは思わない。予想外の破局こそが、ブラック・スワンに賭けるということなのだ。

一度や二度は、そんな賭けを切り抜けられるかもしれない。毎回やられるわけではない。だからまたやり、そこで破局が来て、すべての利益を帳消しにし、それ以上の損失を出す。それがブラック・スワンの賭けというものだ。

だから、いつ嘘を信じても安全か知るのは難しい。そもそも、そんなに心をねじ曲げられるとして、だ。ブラック・スワンの賭けの性質には、自分を殺す弾丸が見えないことがある。そして、自分の知覚は単に世界そのものに見えるので、弾丸はない、それで終わりだと思えてしまう。

だから私は、自己欺瞞を禁じる倫理上の禁止則があると言おう。これをそう呼ぶのは、対人道徳の問題だからというより——それでもあるが——自分自身の巧妙さから守る規則だからだ。正しく思えることをしたいという誘惑を、上から止めるものなのである。

これで、「正しいことでもしてはいけない」という倫理上の禁止則を支える、二種類の状況がわかった。（つまり、「脳が正しいことだと計算したときでも」控えるのだが、それは単に「正しいこと」に思える。）

第一に、人間であり、歪んだハードウェアの上で動いているため、私たちはある種の状況を一般化できる。たとえば「より大きな善のために、銀行をいくつか襲うときだ」と言うなら、本当にそうであるより、あなたが腐敗した可能性のほうが高いと判断する。（現実にそれが正しい場合が一度もないと禁じているのではない点に注意してほしい。問うているのは、これが正しいという自分の計算を信頼することが正当化される、その認識状態だ。公正なくじも当たることはあるが、買うことは正当化できない。）

第二に、ある種の行動はブラック・スワンの賭けだと、歴史が教える場合がある。決める人のモデルにない理由で、ときに大きく破綻するということだ。だからモデル内の計算で正しいことに思えても、さらにブラック・スワンの問題についての知識を適用し、それを禁じるに至る。

だが……そうした理由を知っているなら、単に織り込んで計算し直せばいいのではないか？　歪んだハードウェアとブラック・スワンの破局を考慮した後でも正しく思えるなら、銀行を襲ってもいい。そうするのが合理的なのだろう？

これには、いくつか返答できる。

まず言っておこう。合理主義者を志す人に、巧妙さに気をつけろと警告するとき、私が念頭に置く思考の格好の例が、これだ。

また、友好的AIを目指して作ったものが、地球をクリップに変えるべきだと決めたばかりのとき、それまで受けたさまざまな警告に照らし、それが合理的かどうかを自分で評価してほしくはない、とも言おう。自動的に、制御されたシャットダウンをしてほしい。メタ推論なら腐敗しないなどと、誰が言ったのか？

私の素朴で理想主義的な倫理的抑制が、重要な場面で私自身から私を守ったことも挙げられる。犯しているとも気づかなかった非常に深い間違いから、立ち直れる位置に私をとどめたり、回復の始まりを助けたりした。それを思えば、自分は本当にそこまで進歩したのか、以前救ってくれた守りを取り除くのは、本当にそこまで賢明なのかと問える。

それでもなお……「私はまだ自分の倫理より愚かなのか？」への答えは、自動的に「はい」ではない。

明らかに愚かで、してはいけないことはある。たとえば、本当に誘惑されるまで待って、そのとき初めて、今回に限って自分は倫理より賢いかどうかを考えようとしてはいけない。

だが一般に、親がしてはいけないと言ったことに宿りうる力には、限りがある。その力を過小評価してはいけない。西洋文化の多くが依拠する啓蒙の倫理は、賢い人々が歴史の教訓を論じながら作り上げたものだ。科学の学界やSFファンダムなど、一部の下位文化は、その倫理により直接に依拠している。それでも、過去の力には限りがある。

そして実際……。

私は、自分の倫理を、親やジェリー・パーネルやリチャード・ファインマンがするなと教えたものより、ずっと厳しくしなければならなかった。

自分は倫理より賢いと思っているらしい人々が、厳しさを増すのでなく減らすことを論じるのは、妙なことだ。だって、現代世界がどれほど複雑になったか考えれば……。

同じように、私のところへ来て「知能爆発について嘘をつくべきだ。そのほうが多くの支持者を得られる。より大きな善のために、そうするのが合理的だ」と言う人々も、その危険をまるで知らないように見える。

歪んだハードウェアの上で動く問題に触れない。嘘は、それを脅かすあらゆる真実や、真実を見つけるあらゆる技法から、再帰的に守らなければならないことに触れない。正直な方法には、不正直な方法に欠けがちな単純さがあることに触れない。ブラック・スワンの賭けも論じない。自分自身に対する最後の守りを捨て、生の計算だけで生き延びようとする、恐ろしい丸腰の状態についても語らない。

それは、これらのことについて何も知らないからなのだと、私はかなり確信している。

倫理の背後の理由とリズムを本当に理解したなら、大きなしるしの一つは、新しい知識に助けられて、以前は倫理違反に思えたことを、やはりしないことだ。ただ、今度は理由を知っている。

倫理の理由を一つ二つ見ただけで、「よし、わかった。これからは意識的に考慮するから、倫理的な抑制はもう要らない」と言う人は、本物の合理主義者というより、そのステレオタイプのように振る舞っている。世界は単純で純粋できれいではないので、育てられる中で教わった倫理を、そのまま信頼することはできない。だが、一つ二つ抽象的な洞察を得れば、すべて正しく計算できると思う、あのヴァルカン人の論理のまねも、現実では通用しない。

こうしたことを何一つ理解せず、自分は倫理より賢いと思っている人については、はっ、と笑うしかない。

前から自分は倫理より賢いと思っていて、このエッセイを読むまで、倫理上の禁止則の背後にあるこれらの要素を、そのような言葉で考えたことはなかったが、これからすべて考慮するので、今や自分は倫理より賢いと思う人については、はっ、はっ、と二度笑うしかない。

私は、自分の倫理を免除してもらおうと苦心する人々を大勢見てきた。修正はいつも緩める方向で、厳しくすることはない。そして守りを捨てようとする、その速さと軽さには唖然とする。ホッブズは言った。「誰にでも値段があることと、その値段がひどく安いことと、どちらが悪いのかわからない」。値段はあまりに安く、買われるのをあまりに待ち望んでいる。違反しか選択肢がないと決める前に、別の道を二度、さらに三度探さない。その結論を言うときには、ひどく厳粛な顔をするかもしれないが。最初の機会に、倫理を捨ててしまう。「失敗したい意志があれば、障害は見つかる」。倫理に失敗したいという意志が、ひどく強い人々がいるようだ。

人間の脳が取りうるすべての認識状態を拘束する、絶対的な倫理上の禁止則を支持できるかは、わからない。宇宙は、そこまで信頼できるほど親切ではない。（もっとも、たとえば自己欺瞞の禁止には、途方もない力があると思う。暗黒面を擁護する人は大勢見たが、自己欺瞞が信念のネットワークにもたらす危険や、ブラック・スワンの危険を意識している人は、誰もいないように見える。）いつか自己修正するAIの中に、内省的に整合する禁止則を作ろうとするなら、数学を解き明かしてからでなければならない。場当たり的な継ぎ当てで済ませてよい種類のこととは、まったく違うからだ。

だが、これだけは言おう。

熱心に私のところへ来て、重々しい口調で次のように言った人々の知識、推論、全体的な水準には、私はまったく感心していない。「非倫理的なことXをするのは、利益Yをもたらすから合理的だ」