WIKI CONCEPTスコア 0

企業対超知能

Corporations vs. superintelligences

この日本語訳は、表示本文の全体がYudkowskyまたはSoaresに帰属すると確認できたページだけを対象にしています。

企業は超知能に関連する類例である、と示唆されることがある。単に連続体の誤謬に陥ることなくこの類推を評価するには、高度なエージェントの性質の標準的な一覧にある具体的なしきい値のうち、どれが企業に完全な形で当てはまると妥当に言えるかを検討する必要がある。すると、おおよそ次のような像が得られる。

  • 企業は一般に、高度な並列化ができない課題において、人間未満、人間並み、または人間上位の能力水準を示す。報酬を受けて取り組む膨大な数の人間へうまく並列化できる認知課題では、企業は個人の人間と比べて超人的な能力水準を示す。
    • 企業として組織化することによる全体的な性能向上を把握するため、2010年に囲碁を打とうとするMicrosoft規模の企業を考えてみよう。その企業は最強の棋士を選び出すことで人間上位の成績を得る可能性はあるが、その個人の水準を大幅に超えて打つことはおそらくなく、したがって個人の世界王者を破ることはできないだろう。最終的にKasparovが勝利した、有名なチェス対局「Kasparov対世界」も考えてみるとよい。
    • 大規模に並列化できる認知課題では、企業は著しく超人的な性能を示す。Boeingが設計できる最高の旅客機は、Boeingの一人の技術者が設計できる最高の旅客機よりはるかに優れている可能性が高い。
  • 人間から構成されていることにより、企業は人間自身が持つ高度なエージェントの性質の大部分を持つ。
  • 同じく人間から構成されているため、企業は一般にヴィンジ的に予測不能ではなく、したがって体系的に認知的に封じ込め不能でもない。ある領域の秘密の現象を知る研究者を構成員に持たない限り、企業は強い意味で認知的に封じ込め不能ではない。
  • 企業は人間に比して認識論的に効率的ではない。ただし、十分な参加と助成を伴う社内予測市場を導入した極少数の企業について、限定された領域では例外かもしれない。(大企業の株価は効率的だが、企業そのものはそうではない。企業が愚かなことをした後、株価が暴落することは多い。)
  • 企業は道具的に効率的ではない。近い将来に検証可能な出来事について、予測市場が認識論的予測を集約しようとするのと同じように、人間の戦略眼を道具的に効率的な集合体へ集約する方法は、現在知られていない。企業が追求している戦略よりも、その擬似目標を達成するための優れた戦略を一人の人間が見抜けることは多い。
  • 企業は一般に、根本的な認知的自己改善へほとんど関心を示さない。たとえば社内予測市場を導入した企業は極めて少ない(おそらく、そうした社内予測市場の予測は自信過剰な管理職にとって気まずいことが多いからである)。企業の知能はほぼ全面的に人間から成るため、企業を動かす基本的アルゴリズムの大部分は、企業による改善の対象にならない。この粗雑な類似物を試みると、たとえばより優れた幹部の遺伝子工学や知能爆発をもたらすのではなく、企業全体を官僚主義と社内規則で行き詰まらせがちである。
  • 速度は並列化できないため、企業は構成員である人間に対して基本的な速度上の優位を持たない。

企業と敵対的な超知能との類推をめぐる議論では、人間の価値観との不整合とされるものに焦点が当てられることがある。

前述のとおり、企業は帰結主義的エージェントから構成されており、その範囲では帰結主義的推論を用いることができる。企業内の人間が全員常に同じ方向へ力を合わせているわけではなく、そのため企業を全体として見たときに非帰結主義的な振る舞いが生じうる。たとえば、幹部は個人的な法的責任への恐れや、単に人生上のほかの懸念から、会社の金銭的利益を最大化しないことがある。

一部の企業は、たとえばタバコ会社のように、外部世界に対してサイコパス的に行動したことが何度もある。しかしタバコ会社でさえ、たとえばペーパークリップに変えられることには尻込みしそうな人間だけから、いまなお構成されている。取締役会が、自分たちを含むすべてをペーパークリップへ変えるボタンを、状況に追い込まれて押す場面を想像することはできる。しかし、すべての幹部および取締役および従業員および株主の、金銭以外の個人的利益に反する企業の利益を追求するために、統一的に行動することは、大部分の状況における大部分の企業の振る舞いをうまく特徴づけるものではない。

構成員である人間について成り立たないのと同じく、企業についても、一貫した期待効用最大化を含意する整合性定理の条件は満たされない。全体として見ると、大局的な企業戦略の戦略眼は、航空機設計よりも囲碁に似た振る舞いをするように見える。実際、企業は通常、最も賢い従業員より戦略的に愚かであり、しばしばCEOよりも戦略的に愚かに見える。収束的な道具的戦略の一覧を順に検討すると、企業はそうした振る舞いの一部を時には示すが、すべてを常に示すわけではないことが分かる。企業は生き残りたいかのように行動することもあるが、競争に直面して幹部が怠惰であるかのように行動することもある。会社の取締役や従業員は、企業の存続を保証するために文字どおり手段を選ばなくなるわけではなく、企業の効用関数についての(存在しない)表現を守るわけでも、意思決定過程を最適性へ収束させるわけでもない(近い将来に決着する出来事について認識論的能力を集約する社内予測市場が欠けていること、そして人間の道具的戦略を効率的な全体へ凝集する既知の手法がないことを、ここでも考えよ)。

企業は強く多極的な世界に存在する。企業が活動する文脈には、同規模の他企業、より大規模な企業連合、政府、意見を持つ公衆、多数の必要不可欠な取引相手が含まれ、そのすべてが同じ速度で動作し、同等以上の知能と戦略眼を持つ人間から構成されている。さらに、そこから生じる規律遵守への圧力の多くは、企業の取締役や管理職個人の利益へ直接加えられる。すなわち意思決定をするCEOは、企業の期待平均収益とは無関係に、個人として法的制裁や世論による制裁に直面するかもしれない。企業が、たとえば競合企業のCEOの暗殺に成功したとしても、企業にもたらされる利益のすべてが、その計画の実行にあたって最大の法的リスクを負った個人に帰するわけではない。

次のものは、ペーパークリップ最大化器との潜在的に強い非類似点である。

  • ペーパークリップ最大化器は、自らのアルゴリズムをより低い組織階層で最適化できるため、認知への投資と再投資からはるかに大きな収益を得られる。
  • ペーパークリップ最大化器は、はるかに速い逐次時間で動作できる。
  • ペーパークリップ最大化器は、単一の脳のアルゴリズムを拡張できる(言葉の壁を越えて互いに意思疎通しようとする人間をさらに雇う代わりに、高い内部帯域幅を使う一つの巨大な脳を必要とする問題を解ける可能性がある)。
  • ペーパークリップ最大化器は、より多くの計算能力が利用可能になるにつれ、自らの連続的で完全に協調・連携するコピーを増やせる。
  • 認知への投資から得られる収益と、それが生じる時間尺度によっては、知能爆発を経験するペーパークリップ最大化器は、最も近い競合AIプロジェクトに対して短期的に大きな知能上の先行を得ることができる(たとえば、異なるAIプロジェクトを隔てる時間が人間の尺度で測られ、2番手のプロジェクトが首位のプロジェクトより2か月遅れていたところ、首位のAIが高速な逐次認知を行えるようになると、この時間差が何桁も増幅されるからである)。
  • 著しく超人的な認知により、ペーパークリップ最大化器は初期の物質的な不利を急速に克服できる可能性がある。
    • たとえば、タンパク質の折り畳み問題を解いて独自の生物を開発したり、ナノテクノロジーを立ち上げたりできる、あるいは人間に対する超人的な心理操作を開発したペーパークリップ最大化器は、システム内の他のすべてのプレイヤーに対して大きな地位上の優位を獲得し、ゲーム理論的な考慮を無視できる可能性がある(相手のエージェントをただ分解し、その原子を別の用途に使えるなら、反復囚人のジレンマをプレイする必要はない)。
  • 著しく超人的な戦略眼があれば、文字どおりどの人間も想像したことのない戦術を用いられる可能性がある。
  • 逐次的に高速な思考と行為は、人間(または企業)が反応できるより速く進行できる。
  • ペーパークリップ最大化器は、すべての人間を含むあらゆる反対勢力を文字どおり殺し、手の届くすべてをペーパークリップへ変えることを、実際に動機づけられている。

以上の非類似点が、目下の経験的問題に関連すると認める限りにおいて、企業から超知能へ類推して論じること――とりわけ「企業は超知能である!」という旗印の下でそうすること――は、非中心的誤謬または参照クラス・テニスの一例となる。この類推を使って「超知能は企業より危険ではない」と論じることは、無害な超新星の誤謬の「前例がある、ゆえに無害」という変種である。あらかじめ超知能が無害である、または超知能の出現確率が十分に低いと論証することなく、この類推を使って「真の危険は企業である」と論じることは、脱線である。

Wiki専用概念

このページにはLessWrong上の関連投稿一覧がありません。