WIKI CONCEPTスコア 0

自律型AGI

Autonomous AGI

この日本語訳は、表示本文の全体がYudkowskyまたはSoaresに帰属すると確認できたページだけを対象にしています。

自律型または自己指向型の 高度なエージェントとは、ユーザーによるさらなる介入や誘導なしに、自らの選好を追求して現実世界で行動する機械知能である。 Bostromによる 類型論 上の 高度なエージェントでは、これは「Sovereign」に当たり、「Genie」や「Oracle」と区別される。(この意味での「Sovereign」は自己主権的であることを意味し、 ボストロム的シングルトン という概念や、特定の種類の社会統治と混同してはならない。)

通常、「Sovereign」または「自己指向型」と言うとき、設計上自律的に行動する、アラインメントされているとされる AI について述べている。つまり自律性は 設計上のものである。アラインメント問題を解決できなければ、結果として生じるAIはおそらく、既定状態で自己指向型になる。

自律型の友好的AIを構築しようとすることは、AIと プログラマ が対立した場合にはプログラマよりAIを信頼し、エージェントが自発的に自らへ課すものを除く、あらゆる制約と停止スイッチを取り除いてもよいと考えていることを示す。

実際に アラインメントされた自律型AGIは、いかなるシナリオよりも モラルハザード が小さいだろう。誘導を、プログラマがもはや変更できない固定された 選好枠組み または目的へ引き渡すからである。それでも、本当に、本当に、本当にそれほど確信すること、つまり正解を得るだけでなく、正解を得たと 分かっている ことは、十分に大きな問題に思える。そのため、おそらくこの種類のAIを 最初の試みとして構築しようとすべきではなく、まずは タスクAGI 、または継続的なユーザーの誘導を伴う何か別のものを目標にすべきである。

自律型 超知能 は、 アラインメントすることが考えうる限り最も難しいAGIの種類であり、 完全なアラインメントを必要とする。 整合的外挿意志 は自律型超知能のために提案されたアラインメント目標であるが、繰り返すとおり、おそらく最初の試みで取り組むべきものではない。

Wiki専用概念

このページにはLessWrong上の関連投稿一覧がありません。