WIKI CONCEPTスコア 1

最小性原則

Minimality principle

この日本語訳は、表示本文の全体がYudkowskyまたはSoaresに帰属すると確認できたページだけを対象にしています。

「AIアラインメント」の文脈で、「最小性原則」または「あらゆるものを最小にする原則」は、 最初の 十分に高度な人工知能を構築するとき、わずかに強力なAIを作ることさえ、わずかに危険を増す、きわめて危険な状況で作業していると述べる。したがって、史上初のAGIは、 その6か月後に直後のAGIが世界を破壊することを防ぐための最も危険の少ない計画を実行すべきである。さらに、最も危険の少ない計画とは、従来の意味で危険そうな物質的行動が最も少なく見える計画ではなく、それを実行するAGIに 最も危険の少ない認知 を要求する計画である。同様に、AGI内部で、ある思考の種類が危険だが時には実行する必要があると思われるなら、その種類の思考を可能な限り少ない回数だけ実行したい。

たとえば、AGIが「考えうるあらゆる領域の戦略を使い、この目的をどう達成できるか」と問うことが危険な種類の出来事だと思うなら、大半の日常的操作では特定領域内の戦略だけを探索し、AIが既知の全領域にまたがって探索する出来事は、より稀でプログラマーから見える設計が望ましいかもしれない。全領域から下位目標を動員できる目標を処理するのは、必要ではあるが危険な出来事なので、AI内部でそれを行う量を 減らし たい(そのような全事例に積極的な許可を要求し、その後、先へ進む前に結果を運用者に検証させる)。

この原則を継承する考えには、一般的な タスク指向AGI、 タスク性、 穏健な最適化がある。

Wiki専用概念

このページにはLessWrong上の関連投稿一覧がありません。