続編： セキュリティ思考と普通の猜疑心
（2日後、アンバーがまた質問を携えて戻ってくる。）
AMBER: あの、ねえ、コーラル。まったく新しい種類のシステム――たとえば、潜在的に敵対的な最適化圧力にさらされ、そのうえ何らかの頑健性を持たせたいシステム――を構築するとき、セキュリティ思考はどれくらい重要なの？
CORAL: そのシステムはどれくらい新しいものなの？
AMBER: ものすごく新しい。
CORAL: 既存のベストプラクティスを調べるのではなく、自分たちで新しく考案しなければならないほど？
AMBER: そう。
CORAL: それは重大な仕事だね。インターネットにつながるごく単純なシステムを作るなら、頭の切れる「普通に猜疑心のある人」が、敵対者に対して通常どう防御するのかを調べ、本物のセキュリティ専門家が点検した既製ソフトウェアをできるだけ使えば、そこまでひどいことにはならないかもしれない。でも、敵対的最適化に耐えなければならない、質的に新しく複雑なものを作るとなると……ほとんど不可能なほど危険な領域で作業しているのだと思うし、まず一度失敗したあとでどうするかを考えるよう勧めるだろうね。それでも本当に成功したいのなら、普通の猜疑心では絶対に足りない。
AMBER: つまり、新規でミッションクリティカルなシステムを作るプロジェクトには、完全なセキュリティ思考を持つ顧問が必要で、その人がシステム構築者に、セキュリティを確保するため本当に何をしなければならないか教えるべきなのね。
CORAL: （悲しげに笑う） 違う。
AMBER: 違う？
CORAL: 具体的な例として、新しい種類のセキュアなオペレーティングシステムを作りたいとしよう。それは、セキュリティ思考を持つ顧問を1人付けて、その人が限られた政治的資本を使い、人々を説得して何かをやらせれば作れるようなものではない。「ピンセットだけでレンガに触ることを許されて家を建てる」という比喩が思い浮かぶ。高い権限を持つ経験豊富なセキュリティ専門家が、常勤で働く必要がある。3人、そのうち1人は共同創業者だ。それでもなお、ポール・グレアム(Paul Graham)の「デザインのパラドックス」の領域にいるかもしれない。
AMBER: デザインのパラドックス？ それは何？
CORAL: ポール・グレアムのデザインのパラドックスとは、UIについて良い審美眼を持つ人なら、ほかの人が良いUIを設計しているか見分けられるが、大企業のCEOのほとんどには、誰が良い審美眼を持つかを見抜く審美眼がない、というものだ。だから大企業は、スティーブ・ジョブズ(Steve Jobs)と同じくらい才能のある別の人を雇って、素敵なものを作らせることができない。ジョブズが地球上で考え得る最高のデザイナーだったわけでは決してないのにね。Appleが存在するのは、幸運な歴史の巡り合わせによってジョブズが責任者になったからだ。Samsungが同等の才能を持つ別人を雇う方法はない。見分けのつかないCEOの前でジョブズを演じるのがうまい、スーツ姿の誰かを雇うだけになるからだ。
同じように、セキュリティ思考を持つ人は、ほかの人がそれを欠いていると気づける。けれど、普通に猜疑心のある人にはその違いを見分けるのが難しく、そのため真に有能な顧問を雇うのも難しいのではないかと心配になる。そしてもちろん、技術プロジェクトの背後にある大きな社会システム内の人々の多くは、優れたプログラマーの多くが備えている普通の猜疑心さえ欠いていて、結局は「リスク」や「安全性」について延々と語るだけの中身のないスーツ組を抱えることになる。言い換えれば、セキュアなオペレーティングシステムの構築ほど難しいことをしようとしているのに、そのプロジェクトが最初から完全なセキュリティ思考を持つ人に率いられていないなら、君たちは窮地にある。ここで「窮地」とは、「完全に、取り返しのつかないほど破滅している」という意味だ。
AMBER: ねえ、その、私が投資しているあるプロジェクトは、商取引ドローンを作るために1億ドルを調達したの。
CORAL: 商取引ドローン？
AMBER: 市場インフラが乏しい国がたくさんあるでしょう。そこで、飛び回って品物を売買するドローンを作り、いくらの価格を払うべきかなどを機械学習で判断させようというアイデアなの。お金だけが目的じゃない。そういう国々に莫大な経済的押し上げ効果をもたらし、前進するのを本当に助けられると思っている。
CORAL: なんということだ。いいかい。君の会社の本質は、ちょうど2つだけだ。システムセキュリティと、規制の順守。まあ、マーケティングもあるけれど、どんな会社もマーケティングをするから数には入らない。ドローンのハードウェアや機械学習など、自社がそれ以外の何かを本業としていると考えたら重大な誤りになる。
AMBER: でも、社内では、法的問題やセキュリティを考え始めるのは、プロトタイプを作れると証明して、少なくとも小規模な試験市場を動かし始めてからでいい、という空気なの。だって、人がどうシステムを使い、ソフトウェアが最終的にどう動くのか分からないうちは、純粋な憶測ではない、生産的なセキュリティやコンプライアンスの検討なんて、どうすればできるのか見当もつかないでしょう。
CORAL: ハ！ ハ、ハハハ……まさか、本気で言っているのか。
AMBER: 何？
CORAL: 本当の意味は、セキュリティと規制対応のロードマップがあって、その一部を後で実施すると定めてはいるものの、どんな作業が必要か、いつ着手し、各マイルストーンをいつまでに完了すべきかが明確に書かれている、ということだと言ってくれ。まさか文字どおり、それについて考え始めるのを後回しにするつもりだ、という意味ではないだろう？
AMBER: 昼食のときにはよく、規制に対処するのがどんなに面倒か、政府がもっとリバタリアン的ならどんなに良いかを話している。それも考えているうちに入るでしょう？
CORAL: なんということだ。
AMBER: 何を守るのか正確に分からないのに、どうしてセキュリティ計画を作れるのか、私には分からない。計画は結局、間違ったものになるんじゃない？
CORAL: スタートアップの事業計画はすべて結局間違ったものになる。それでも計画は必要だ――しかも単なる創作物としてではない。事業計画は、重要な前提について現在何を信じているかを、書面にしたものだ。事業計画を書き出せば、現在の信念がそもそも首尾一貫し得るかどうかを検査できるし、どの重要な信念を最初に試すべきか、どんな結果なら警報を鳴らすべきか、存続のための重要なしきい値からいつ遅れ始めているかも見えてくる。事業計画に固執するのが目的ではない。計画を持つことで、(a) どんなやり方であれ成功が可能に思えるか確かめ、(b) 自分の信念の1つが反証されつつあるときに気づいて、明示的に計画を変え、適応できる。新しい情報に直面すれば迅速に改訂するつもりの計画書を持つことと、計画を持たないことは、別物だ。
AMBER: 実はね、プロジェクト責任者のトパーズさんが、誰かにドローンをだまされ、本来渡すべきでないお金を渡してしまう可能性を十分に心配していないんじゃないかと、私は本当に少し不安なの。その懸念を伝えようとしたことはあるけれど、もちろん誰にでもお金を渡すようにはドローンをプログラムしない、と言うのよ。彼にいくつか助言をしてもらえない？ セキュリティを考え始める時期が来たときのために、という意味だけど。
CORAL: ああ。ああ、かわいそうに、純真で愛らしい夏の子よ、すまない。私にできることはない。
AMBER: え？ でも、私たちの美しいビジネスモデルをまだ見てもいないじゃない！
CORAL: 君の会社は、困難を絶望的なまでに過小評価し、優先順位を取り違えているだけかもしれないと思っていた。だが今の話では、君たちのリーダーは普通の猜疑心さえ使っておらず、それを向けられると懐疑的に反応するらしい。そんな事例を「望みがない」と呼ぶのさえ控えめな表現だ。
AMBER: でも、セキュリティ障害が起きたら、助けようとしている国々にとってものすごく悪いことになる！ 必要なのは安全な商取引ドローンなの！
CORAL: ならば、トパーズさんが率いていない別のプロジェクトが作るドローンが必要になるだろう。
AMBER: でも、それを手配するのはものすごく難しそう！
CORAL: ……私の言っていることのどこに反論しているつもりなのか、まったく分からない。
AMBER: ねえ、トパーズさんを判断するのが少し早すぎない？ 本当に。
CORAL: 会ったことはないから、君が彼を正確に伝えていない可能性はある。でも、彼の態度を正確に伝えているのなら？ そう、私は素早く判断した。だが、ものすごく当たりそうな推測だ。事前確率からして、セキュリティ思考はすでに稀なのだ。「無関係な人たちにお金をばらまくようにドローンを作るつもりはない」と言うのは、システムが意図どおりに動かないかもしれない姿ではなく、意図どおりに動く姿を想像しているということだ。誰かが、外部から促されなくても自発的に、自分自身の認識によって普通の猜疑心すら示さないなら、その人にはセキュリティの仕事はできない。以上だ。何かがうまくいかないかもしれないという指摘に憤慨するのは、それを超えた絶望の水準だが、基礎的な水準だけですでに十分絶望的だった。
AMBER: ねえ……トパーズさんのところへ行って、ドローンにセキュリティを付け加えるため何をする必要があるか、伝えてみてくれない？ 試すだけでも？ ものすごく重要なの。
CORAL: 試すことはできる。成功はできないが、試すことならできる。
AMBER: ああ、でも、どうか彼にきつく当たらないよう気をつけて。彼がしている間違いに焦点を当てないで――それから、問題がそれほど深刻ではないとはっきり伝えるようにして。悪のドローン軍団が空を埋め尽くす終末シナリオをメディアが騒ぎ立てているせいで、彼は嫌気が差しているの。自分自身のプログラムに逆らうドローンなんて空想的な破局シナリオを唱える、ただの警告屋が私ではないと納得させるのに、かなり苦労したんだから。
CORAL: ……
AMBER: それと、バッファの末尾を調べ忘れ、敵対者が巨大な文字列を放り込んでスタックの末尾を上書きし、システムのどこか別の場所にある、敵対者の望む処理をするコード部分へジャンプするリターンアドレスを書き込む、みたいな、頭のおかしなエッジケースに聞こえそうな話題は、最初の会話では避けたほうがいいかも。そういう現実離れしたシナリオも、もっと現実的な故障モードの炭鉱のカナリアになるかもしれないという理由だけでも心配に値すると、あなたは私を納得させた。でも、トパーズさんは全部ちょっとばかばかしいと思っているし、なぜそうではないのかというメタな説明から始めるべきではないと思う。考え方を教えられて、見下されていると感じるだろうから。とりわけ、あなたはただのオペレーティングシステム屋で、ドローンを作った経験も、実際に何が原因で墜落するかを見た経験もないんだもの。たぶん、彼ならそう言うと思う。
CORAL: ……
AMBER: あと、助言するときは、まず安上がりな介入から始めてね。別のプログラミング言語で全部最初からやり直す必要があるとか、コード変更すべてに審査委員会を設ける必要があるとか、そういうことを言ったら、トパーズさんは良い反応をしないと思う。競合が先に市場へ出ることを心配しているから、自分たちを遅らせるようなことは何もしたくないの。
CORAL: ……
AMBER: あの、コーラル？
CORAL: ……彼の新しいプロジェクトは、未踏の領域へ入り、従来とまったく同じではないことをし、標準化されたセキュリティのベストプラクティスも、何がシステムを頑健または非頑健にするかについて既知の理解もない、新規でミッションクリティカルな下位作業を遂行している。
AMBER: そう！
CORAL: そしてトパーズさん本人は、目の前のこの恐ろしい仕事をあまり恐れていないようだ。
AMBER: まあ、誰かが先に商取引ドローンを作り、この重要な経済インフラを悪い目的に乱用することなら心配している。同じようなものでしょう？ つまり、心配する能力はあるって示しているでしょう？
CORAL: まったく違う。ほかの猿に先にバナナを取られるのを恐れられる猿は、敵対的最適化に直面したバナナが奇妙なシステム挙動を示すかどうかを心配する猿より、はるかに、はるかに多い。
AMBER: ああ。
CORAL: トパーズさんが頑健なソフトウェアの作成を監督する確率は、月が自然に有機飼育のヤギ乳チーズへ変わる確率より、ほんの少し高いだけだと思う。
AMBER: 彼に厳しすぎると思う。私はトパーズさんに会ったことがあるけれど、かなり頭の良い人に見えた。
CORAL: 繰り返すが、君が正確に伝えていると仮定すると、トパーズさんには私が「普通の猜疑心」と呼んだものが欠けているようだ。多くの頭の良いプログラマーと同じく、認知能力としてはそれを備えているのだとしたら、重要な次元に沿ってその猜疑心をドローン・プロジェクトへ適用することに、情熱をまったく感じていないのは明らかだ。また、自分に欠けている技能があるとトパーズさんは認識しておらず、そう指摘されれば侮辱と受け取るらしい。通りかかった運転手に地点Bへの道順を尋ねられた農夫が、「私が地点Bへ行こうとしているのなら、ここからは絶対に出発しませんね」と答えた、あの話を思い出す。
AMBER: トパーズさんはドローン技術をかなり進歩させたのだから、ばかということはないでしょう？
CORAL: 「セキュリティ思考」は、一般知能を表す g 因子や、プログラミング能力とさえ別個の認知的才能らしい。実のところ、普通の猜疑心に熟達していることさえ保証するような、人間の天才性の水準は存在しないようだ。そのせいで、一部のセキュリティ専門家は、私も含めて、少し奇妙な気持ちになる――多くのプログラマーが、なぜ誰もがプログラミングを学べるわけではないのか理解しにくいのと同じだ。だが、普通の猜疑心もセキュリティ思考も、g 因子やプログラミング能力から切り離され得るというのが、観察上の事実らしい――そうでなければ、インターネットは今よりはるかに安全なはずだ。
AMBER: このプロジェクトに出資しているほかのベンチャーキャピタリスト(VC)に話して、CTOへ直接報告する「頑健性担当特別顧問」を任命するようトパーズさんに求めてもらえば、役に立つと思う？ 政治的には難しそうだけど、実現できる可能性はある。ドローンが暴走し、場合によっては合体して、レーザーの目を手に入れられる巨大なボルトロンのようなロボットになるのではと報道機関が推測し始めたとき、トパーズさんはVCに、ドローン安全の倫理を非常に懸念していて、昼休みにそれについて何度も長く話し合った、と伝えてはいたから。
CORAL: ここでは、企業内政治そのものではない私の専門から少し外へ踏み出している。だが、このように新しい領域へ入ろうとするプロジェクトでは、セキュリティ思考を持つ人には少なくとも共同創業者の地位が必要で、その技能を持たない共同創業者全員から個人的に信頼されていなければならない、と推測する。VCに連れてこられ、限られた政治的資本で動き、すべてのサービスを便利だからとデフォルトで有効にするのをやめたいと思うたび議論に勝たなければならない外部者では駄目だ。このスタートアップは単に責任者を間違えており、その問題は修復不能なのではないかと思う。
AMBER: お願い、見捨てないで！ あなたの言うほどひどい状況でも、プロジェクトが安全になる確率を0%から10%に増やすだけで、商取引ドローンを必要とする他国の人々全員にとって、期待値の上では大きな価値があるでしょう。
CORAL: ……いいかい、人生のどこかでは努力をトリアージして、救えないものを諦めなければならない。成功確率はしばしばロジスティック曲線を描くんだ。距離は確率のパーセントポイントの加算ではなく、オッズの乗算で測られる。このようなプロジェクトにもう少し懸命な仕事を投入すれば、成功の絶対確率を10%増やせる、と仮定することはできない。むしろ、このプロジェクトの失敗対成功のオッズは最初1,000,000対1で、私たちが非常に丁寧に振る舞い、トパーズさんの「自分は私たちより地位が上だ」という感覚をうまく避けて進み、彼の知らないことを私たちが知っていると考えているようには一度も聞こえずに、いくつか助言を説明できたなら、成功の見込みを5倍にし、オッズを200,000対1にできる、といったところだ。パーセントポイントの世界で言えば、確率が0.0%から0.0%になるということだ。これが「失敗継続の法則」を見る1つの方法だ。
基礎的条件から、たとえば15%の成功確率が見込まれる種類のプロジェクトなら、ロジスティック曲線の適切な部分にいることになる。その場合には、30%や80%へ押し上げる方法を探すことが、大いに理にかなうかもしれない。
AMBER: ねえ、トパーズさんが安全でないドローンを率先して市場へ出したら、本当にひどいことになると心配しているの。既存の市場基盤があまりない国にとって、商取引ドローンはとても有益になり得ると思うし、もし壮大な失敗が起きたら――とりわけ、顧客になるはずだった人々の一部がお金や品物を盗まれたら――何年ものあいだ、潜在的な市場を台無しにしかねない。恐ろしいことになる！ 本当に、心から恐ろしい！
CORAL: へえ。それは、自分から入り込んだにしては、なんとも不愉快な状況だね。
AMBER: でも、今、私たちは何をすればいいの？
CORAL: そんなこと、私が知るものか。トパーズさんのような誰かが頑健なシステムを作ったときにしか勝てないかぎり、君たちは詰んでいるのだろうとは思う。別のドローン・プロジェクトを立ち上げる手はあるかもしれない。たとえばブルース・シュナイアー(Bruce Schneier)が、セキュリティ思考に並外れて優れていると皆に請け合うような人が率い、その人なら私のような者を雇って、私たちの言う厳しい話をすべて聞き入れられるプロジェクトだ。とはいえ、安全でないシステムより先に安全なシステムを市場へ出すことが極端に重要だ、と君が考えている点は――まったく悪夢のようだ。トパーズさんよりはるかに多くの資源か、別の何か途方もなく大きな優位が必要になる。セキュリティには時間がかかる。
AMBER: ドローン・システムにセキュリティを加えるのは、本当にそんなに難しいの？
CORAL: 君はセキュリティを「加える」と繰り返している。システムの頑健性は、後付けでソフトウェアにボルト留めできるような性質ではない。
AMBER: なぜそんなに費用が増えるのか、よく分からないみたい。たとえば、愚かな誰かが誰にでもアクセスを許すOSを作ったとしたら、代わりにパスワードロックを付け、パスワードそのものではなくパスワードのハッシュをOSに保管させるという、あなたの賢い方式を使えばいい。インターネットに公開されているサービスを全部、アクセスを許可する前にパスワードを尋ねるよう、数日かけて書き直せばいい。そうすれば、そのOSにはセキュリティが付く！ でしょう？
CORAL: 違う。システム内で、奇妙な挙動をする確率について敵対的選択にさらされる可能性のあるものは、すべて負債なんだ！ 攻撃者にさらされるもの、その下位システムが相互作用するもの、そしてそれらの部分が相互作用するもの、全部だ！ そのすべてを頑健に構築しなければならない！ セキュアなOSを作りたいなら、「安全でないオペレーティングシステムではなく、セキュアなオペレーティングシステムを作る」という、丸ごと別の特別プロジェクトが必要だ。そして、野望の範囲を制限し、したいことをすべてはせず、完全なセキュリティ思考を持たない人には大きく不愉快な犠牲に感じられるほかの戒律にも従う必要がある。OpenBSDにはUbuntuができることの10分の1もできない。そんな余裕はないんだ！ 攻撃対象領域が大きくなりすぎる！ セキュアなソフトウェアを開発する特別なプロセスを使って、それほど多くのコードをレビューすることはできない！ 頭の中で、それほど多くの前提を保持することはできない！
AMBER: その取り組みには、必ずかなり余分な時間がかかるの？ 急げばあと数週間でできる、ということは絶対にない？
CORAL: もちろんかかる。これは新しい領域へ入る新規プロジェクトなのだから、ほかの条件――ツール、洞察、人材、資源――が同一でセキュリティに無頓着なプロジェクトと比べ、少なくとも2年余分に、または開発期間が50%余分に――どちらか短いほう――かかると予想すべきだ。そしてこれは、非常に、非常に楽観的な下限だ。
AMBER: この物語は、心配な方向へ向かっているみたい。
CORAL: まあ、すまないけれど、頑健なシステムを作るほうが非頑健なシステムを作るより長くかかることが、本当に、途方もなく悪い場合でさえ、頑健なシステムの作成には非頑健なシステムより長くかかる。
AMBER: 優れたセキュリティ慣行を実施しているプロジェクトは、何もかもはるかにきれいに、うまくこなすから、安全でない競合より早く市場へ出られる、ということはあり得ない？
CORAL: ……正直、なぜ検討対象としてその仮説だけを特別扱いしているのか理解しにくい。頑健性には、余分な時間を要する保証プロセスが伴う。OpenBSDがUbuntuより速くコード行を処理していくわけではない。
だが、もっと重要なのは、誰もが同じツール、洞察、資源へアクセスできるなら、何かを慎重に行う異例に速い手法は、いつでも、それを無頓着に行うさらに速い手法へ劣化させられるということだ。粗悪なプログラムを書くのが少しでも難しいプログラミング言語など、今は存在しないし、これからも決して存在しない。安全でないソフトウェアを書くほうが安全なソフトウェアを書くより本質的に遅くなる方法論など、今は存在しないし、これからも決して存在しない。君の明るい希望を聞けば、どんなセキュリティ専門家も笑うだろう。私を信じないのなら、彼らにも尋ねてみればいい。
AMBER: でも、慎重でないエンジニアは普通のバグのせいで、そもそもソフトウェアを作れないはずじゃない？
CORAL: 残念ながら、日常のテストで現在システムをクラッシュさせているバグをすべて修正し、相当な割合のユーザーを苦しめるほど頻繁に現れる普通のバグを直すには実際十分な方法論を使い、それから製品を出荷することは、可能であると同時に、実際には極めて一般的だ。今日動くようにすべてを整え、製品はすでに予定に遅れているから、それ以上出荷を遅らせる余裕はないと感じる。敵対的最適化圧力の下でしか現れない穴――ほかの誰かが先に見つけ、手遅れになってから本人たちが知る穴――を製品からなくすために、並外れた人を雇って10倍の仕事をさせたりはしない。
インターネットにつながらず、ユーザー数が少なすぎて1人が暴走しても問題にならず、お金を扱わず、価値あるデータを含まず、何かがうまくいかなくても人を傷つけ得ることを何もしない製品なら、それは誤った判断ですらない。爆発しても重要なものを何も壊さないソフトウェアなら、限られた資源は、バグが現れるたび直す計画に使うほうがよいだろう。
……もちろん、どのソフトウェアが、ひそかにデータを破損し、1か月後まで誰も気づかなければ、実際に会社を破壊し得るかを認識するにも、ある程度のセキュリティ思考が必要だ。君たちのドローンは、1日のあいだに企業予算全体のうち限られた額の現金だけを運び、その日に輸送中だった全商品を失っても――ドローンが通常よりはるかに多く売買するかもしれないことも考慮して――全顧客へ返金するのに常に十分すぎるほどの資金がある、というわけではないのだろう？ それに、システムが内部用の紙の領収書を作り、それを顧客へ明確に見せ、1日1回、電子的ではない手段で照合することで、手遅れになる前に問題へ気づけるようにもしていないのだろう？
AMBER: してない！
CORAL: なら、君の言うとおり、その会社は存在せず、この新領域へ突進して派手な大失敗で台無しにしようとしていないほうが、世界にとってよいだろう。
AMBER: もし私がそれを信じるなら……まあ、トパーズさんは絶対にプロジェクトをやめないし、ほかの誰かに引き継がせることもない。あなたが信じていると言う話の論理的含意は、私の知るベンチャーキャピタリストを説得し、さらに多くの資金で、より安全なドローン・プロジェクトを始めさせるべきだ、ということみたい。
CORAL: あの、率直に言ってすまないが、君には、自分より十分にセキュリティ思考の優れた経営者を見分けられるほど高い水準のセキュリティ思考がないのではないかと思う。安全でない製品より先に市場へ出すのに十分な資源上の優位を得ることは、競合プロジェクトを立ち上げる際の問題の半分にすぎない。残り半分は、真に深いセキュリティ思考を持つ人が事前確率からして稀だという壁を越え、そのような誰かを責任者にし、完全に関与させることだ。または少なくとも、政治的資本の予算が乏しくない、厚く信頼され、全力で関与する共同創業者にすることだ。もう一度言う。VCが任命する顧問では、君たちのようなプロジェクトには到底足りない。その顧問が本当に優れたセキュリティ専門家であっても――
AMBER: どれも不当に難しい要件みたい！ 少しくらい譲歩できないの？
CORAL: ――責任者はおそらく、セキュリティ専門家という歓迎されない声によって代表される現実を値切ろうとする。その専門家には、「理不尽な」措置を取らせるまで責任者をうるさく責め立てられるほどの社会的資本がない。つまり、全自動で失敗する。
AMBER: ……なら、私はどうすればいいの？
CORAL: 実のところ、分からない。だが、さらに多くの資金で別のドローン・プロジェクトを始めても、別のトパーズさんが責任者になるだけなら意味がない。デフォルトでは、君のベンチャーキャピタリストの友人がするのはまさにそれだ。そうなれば、安全な解決策で本当に最初の市場参入者になろうとする人に対し、競争上のハードルをさらに高くしただけになる。神のご加護が彼らの魂にあらんことを。
そのうえ、競合に追い立てられているとトパーズさんが思い、製品を急いで市場へ出せば、安全なシステムを作る確率は10分の1に落ち、0.0%から実に0.0%になり得る。
AMBER: 私のVC仲間は、こういう問題に以前も直面し、セキュリティをうまく扱える経営者を見分けて雇う方法を知っているはずでしょう？
CORAL: ……君のVC仲間の1人がポール・グレアムなら、そうかもしれない。だが平均的な場合は、違う。
平均的なVCが、セキュリティを必要とするプロジェクトには必ず強いセキュリティ思考を持つ創業者または共同創業者がいるようにしていたなら――そうしたいと決めた場合にさえ、それを実行する能力があったなら――やはり、インターネットは今とは大きく違って見えるはずだ。デフォルトでは、非常に真面目そうに見え、サイバーセキュリティをどれほど深刻に心配しているか、システムがいかに超安全になるか、そしてこのスライドに載っている36個のパスワードを含む、9,000を超える一般的なパスワードを拒否することについて延々と話す人物に、君のVC仲間はだまされる。VCの1人がスライド上に自分のパスワードを見つけたときには、なおさら感心して声を上げるだろう。そのプロジェクトリーダーは、絶対に私の話を聞きたがらない――トパーズさん以上にね。彼にとって、私はVCに対する巧みな売り文句を損なうかもしれない政治的脅威だ。
AMBER: これだけ頭の良い人たちが、実際にそれほど愚かだとは信じにくい。
CORAL: 君は、生得的な社会的地位の感覚と、特定の集団がこの特定の能力にどれほど優れているかという推定水準を、単一の次元へ圧縮している。それは良い考えではない。
AMBER: 地位の高い人なら誰もが深いセキュリティ技能をすでに知っていると思う、と言っているわけじゃない。ただ、いったん教えられても素早く習得できないとか、その技能を持つ優れた顧問を見分けられないままでいるとかいうことが、信じにくいの。それでは、彼らがあなたの知ること、それも重要そうなことを知り得ないという意味になる。それがただ……どういうわけか、何かおかしいと感じるの。世の中には、これほど成功して重要な人たちがいるのに、あなたは、その人たちがどれだけ影響力、技能、資源を持っていても、自分のほうが優れていると言っている――
CORAL: いいかい、私の言葉を信じる必要はない。これまで使ったウェブサイトを思い出してみるといい。洒落たデザインで、何百万ドルもの売上が通過しているかもしれないのに、パスワードを大文字、小文字、数字の組み合わせにするよう求めてくるサイトだ。言い換えれば、「correct horse battery staple」ではなく「Password1!」を入力しろと言っている。そういうウェブサイトはすべて、完全なセキュリティ思考を持つ人、あるいはXKCDを日頃から読むだけの人にさえ、滑稽でばかげて見えることをしている。セキュリティシステムを構築したのが、自分のしていることを理解せず、よそで見た、もっともらしい誤りを盲目的にまねた人物だと示している。
それで顧客に良い印象を与えると思うかい？ そのとおり、与える！ 顧客もそれ以上知らないからだ。そのログインシステムは、プロのVCや、おそらく自分でスタートアップ経験もあるエンジェル投資家を含む、会社の投資家に良い印象を与えると思うかい？ そのとおり、与える！ VCもそれ以上知らず、エンジェル投資家さえそれ以上知らず、重要な技能が自分に欠けていると認識せず、もっと詳しい人に相談していないからだ。無垢な人は、ウェブサイトが大文字、小文字、数字、それに句読記号の組み合わせを要求すると感心する。そんなに珍しく不便なセキュリティ対策を課すとは、運営者は本当にセキュリティを気にしているに違いない、と思う。ウェブサイトの運営者自身も、自分たちがそうしていると思っている。
深いセキュリティ思考を持つ人は稀であり、しかもその価値を認められることも稀だ。そのログインシステムだけを見ても、スタートアップのVCにも経営幹部にも、本物の専門家へ相談する必要があると思った人が誰もいなかったか、相談したとしても、中身のないスーツ組ではなく本物の専門家を見つけられなかったと分かる。周辺のシステムには、CEOのところへ歩み寄って「御社のログインシステムは恥ずかしい代物です。本物のセキュリティ専門家を雇う必要があります」と言えるだけの、知識と地位を併せ持つ人がいなかったことが目に見えている。誰かがCEOにそう言ったとしても、CEOは腹を立て、言葉遣いがこれでもかというほど丁寧ではなかったという理由で伝令を撃つか、CTOが外部者を政治的脅威と見て悪口を広め、ゲームから追い出したのだろう。
完全なセキュリティ思考に手が届く人が、ベンチャーキャピタルとエンジェル投資の生態系内にはもっと多いはずだという、君の願望に満ちた「そうあるべき世界」仮説は、単純に間違っている。広く知られた敵対的事例へ向けられる普通の猜疑心は、大きな生態系の中で広範な社会的影響力を及ぼすほど十分に密ではある。それでも多くの個人や地域では滑稽なほど欠けているが。完全なセキュリティ思考を持つ人は、同程度の存在感を持つには稀すぎる。それが容易に目で確認できる真実だ。パスワードに句読記号を求めるログインシステムを、君は目で見られる。幻覚を見ているのではない。
AMBER: それが全部本当なら、勝つ方法が私にはまったく見えない。あなたの話が全部間違っているという条件を置くことにしたほうがいいのかも。本当なら、私が勝てる見込みは薄そうだから――そうなると、私の側が勝つのは、別の背景前提が成り立つ世界だけということになる。
CORAL: ……それは、よく言うことなの？
AMBER: まあ、私が勝つ見込みが十分に薄くなり始めたときには、いつも言う。
CORAL: なんということだ。一生のうちに一度、たった1つの見込みの低い条件についてなら、誰かがそう言うのを、ひょっとすると、ひょっとすると理解できるかもしれない。だが、二度以上するのはまったくの狂気だ。見込みの低い条件が猛烈な速さで積み上がり、君の精神世界の確率を事実上ゼロへ落とすだろう。感情的圧力を受けていると感じたとき、自分だけの幻覚的宇宙へ横滑りしたくなるが、たいていは悪い考えだ。困難がどれほどあろうと、別のどこかではなく、精神的に現実の中で生きているときにこそ、良い計画を思いつく可能性が最も高い、と私は考えがちだ。物事が難しそうなら、成功するためには、その困難を真正面から見なければならない。状況が本当はどれほど悪いかに立ち向かう解決策を考え出す必要があるのであって、難しすぎるという理由で「物事は難しくない」と条件づけてはならない。
AMBER: せめて、トパーズさんに話して、どうすれば安全にできるか助言することを試してもらえない？
CORAL: もちろん。試すのは簡単だし、私は対話篇の登場人物だから、機会費用は低い。トパーズさんだって安全な商取引ドローンを作ろうとはしているはずだ。難しいのは、何かに成功することだ。
AMBER: よかった。トパーズさんがあなたと話すよう、話を通せるかやってみる。でも、どうか丁寧に！ 彼が何か間違っていると思っても、私に話したときより穏やかに指摘して。あなたを中へ入れるくらいの政治的資本は私にあると思うけど、無礼に振る舞ったら、それも続かない。
CORAL: あのね、主流のコンピュータセキュリティの世界では、システムを安全にする新しい方法を提案すると、皆が集まって、そのアイデアがうまくいかない理由を考え出そうとするのが、伝統的で賢明だと考えられている。どれほど頭が良くても、明るく見えるアイデアの大半には欠陥があると結局分かること、そして、ほかの人がそれを撃ち落とそうとするとき神経質に反応すべきでないことが理解されている。トパーズさんは、コンピュータセキュリティの慣行をまったく知らないの？ 多くのプログラマーなら知っている。
AMBER: 彼なら、コンピュータセキュリティは独立した分野として尊重しているけれど、セキュアなオペレーティングシステムを作ることと、商取引ドローンを作ることは同じ問題だと思わない、と言うはず。
CORAL: では、この事例はセキュアなオペレーティングシステムを構築する問題と似ているかもしれず、同じように、もっと労力を注いで慎重に開発する必要があり、(a) 追加の開発時間と、(b) 普通の猜疑心を超える異例な考え方を持つ人々がもたらす、特別な慎重さの必要性がある、と私が示唆したら？ 安全性の筋書きにある危うい前提を、普通に猜疑心のある人が、火事は消さなければならないほど緊急だと判断するより前に見つけられ、想像上の攻撃に対して普通に猜疑心のある人が生み出す受け流しより、深い解決策で問題を是正できる、異例の技能を持つ人々だ。
さらに言えば、強い外的または内的な最適化圧力にさらされる複雑なシステムに頑健性を求めるところでは、一般にこのシナリオが成立するかもしれない、と私が示唆したら？ 大きく複雑な状態空間を探索する最適化を通じて、特定の事態が起きる確率を強く高める圧力だ。そして、その圧力によって、システム内の別の下位部分もまた、奇妙な状態や以前には想像されなかった実行経路が選択される圧力にさらされる。とりわけ、そうした圧力の一部が、ある意味で創造的であり、私たちを驚かせたり、表面的な一般化に反したりする、システムや環境の状態を見つけ得るなら？
AMBER: 彼はたぶん、過度に抽象的な言葉を投げつけて、賢そうに見せようとしていると思う。それか、ドローンが墜落したり、お金を渡しすぎたりしないかテストして、すでに払っている以上の注意がなぜ必要なのか分からない、と答えるでしょうね。
CORAL: なるほど。
AMBER: じゃあ、出発しましょうか？
CORAL: もちろん！ 問題ない！ トパーズさんに会いに行って、言葉で説得してブルース・シュナイアーに変身させるだけさ。
AMBER: その意気よ！
CORAL: ああ、君の地図に対応する領土で暮らせたなら、どれほどよかっただろう。
AMBER: ねえ、もう。話しかけることで、飛び抜けて稀な精神的技能を人に授けるのは、まじめな話、そこまで難しいことなの？ トパーズさんがその技能を身につけたがっている様子をまったく見せず、聞きたくないことを私たちが言えば、話を聞き続けるに値する相対的な地位が私たちにあると思っていないのは、悪い兆候だと認める。でも、それは、彼が聞きたくなるよう巧みに助言を言い表さなければならないというだけよ！
CORAL: トパーズさんにとって、それほど不愉快に聞こえないものへメッセージを変えることはできるだろうね。ドローンのセキュリティという話題に関係しているように聞こえても、彼に大して費用はかけさせず、もちろん実際にドローンが安全になることもない内容だ。安全にするのは不愉快で、金がかかるからね。現実の中で少し横滑りして、トパーズさんが賛同するようなことを言うようになったから、自分と同盟したのだと信じ込めるだろう。地位の高い猿を自分の政治的陣営に入れたいという本能的な欲求は、問題が解決したと感じるはずだ。その問題を解決した感覚を、実際のドローンを安全にできていないという不快な感覚の代わりにできる。大きな猿が、心地よく修正された君の政治的陣営にいるように見えるのだから、これからは何もかも引き受けてくれると自分に言い聞かせられる。そうして、君は幸せになるだろう。もちろん商取引ドローンが市場へ出るまでだが、その不愉快な経験は短時間で済むはずだ。
AMBER: もう、私たちならできる！ 前向きに考えなきゃ！
CORAL: ……まあ、ほかに何もなくても、面白い経験にはなるだろう。これほど破滅が確定していることを試した経験は、今まで一度もない。