LESSWRONG AI WIKI · SELECTED TRANSLATIONS
Eliezer Yudkowsky または Nate Soares だけが本文を執筆した LessWrong AI Wiki ページの非公式日本語訳
30 / 121件を表示
Methodology of unbounded analysis
概要 「無制限分析」とは、実際に実行するには物理的にあり得ないほど莫大な計算能力、あるいは場合によってはハイパー計算を必要とするコンピュータプログラムの挙動を明らかにすることをいう。無制限の計算能力を使えば問題を解く方法が分かっていても、現実世界のコンピュータでは解けないならば、私たちには「無制限解」はあるが…
QUICK PREVIEW
無制限分析の方法論概要 「無制限分析」とは、実際に実行するには物理的にあり得ないほど莫大な計算能力、あるいは場合によってはハイパー計算を必要とするコンピュータプログラムの挙動を明らかにすることをいう。無制限の計算能力を使えば問題を解く方法が分かっていても、現実世界のコンピュータでは解けないならば、私たちには「無制限解」はあるが…
Enterで日本語訳を開くNo-Free-Lunch theorems are often irrelevant
一般に、ある問題が解決不能であることを証明する「ノーフリーランチ」定理には、実に多様なものがある。現実の宇宙は特殊な場合なので、これらの定理はきわめて頻繁に無関係となる。 きわめて一般的かつ比喩的な意味で、これらの定理の大半は、次のような同等のことを述べる。「普遍的に優れた戦略はない。ある行動によ…
QUICK PREVIEW
ノーフリーランチ定理はしばしば無関係である一般に、ある問題が解決不能であることを証明する「ノーフリーランチ」定理には、実に多様なものがある。現実の宇宙は特殊な場合なので、これらの定理はきわめて頻繁に無関係となる。 きわめて一般的かつ比喩的な意味で、これらの定理の大半は、次のような同等のことを述べる。「普遍的に優れた戦略はない。ある行動によ…
Enterで日本語訳を開くVinge's Principle
ヴィンジの原理によれば、 完全なプレイが不可能なほど複雑な領域 では、知能の低いエージェントは知能の高いエージェントが行う 正確な 手を予測できない。 たとえば、チェス盤上で Deep Blue が正確にどこへ指すか分かるなら、Deep Blueが指すと予測した手をそのまま指すことにより、少なくと…
QUICK PREVIEW
ヴィンジの原理ヴィンジの原理によれば、 完全なプレイが不可能なほど複雑な領域 では、知能の低いエージェントは知能の高いエージェントが行う 正確な 手を予測できない。 たとえば、チェス盤上で Deep Blue が正確にどこへ指すか分かるなら、Deep Blueが指すと予測した手をそのまま指すことにより、少なくと…
Enterで日本語訳を開くExtrapolated volition (normative moral theory)
（このページは、規範的道徳理論としての外挿意志、すなわち外挿意志が価値、あるいは私たちがどのような結果を望むべきかという概念を捉えるとする理論について述べる。十分に高度で自己主導型のAGIを、何を望み、目標とし、決定し、行うよう構築すべきかという、密接に関連する提案については、整合的外挿意志を参照…
QUICK PREVIEW
規範的道徳理論としての外挿意志（このページは、規範的道徳理論としての外挿意志、すなわち外挿意志が価値、あるいは私たちがどのような結果を望むべきかという概念を捉えるとする理論について述べる。十分に高度で自己主導型のAGIを、何を望み、目標とし、決定し、行うよう構築すべきかという、密接に関連する提案については、整合的外挿意志を参照…
Enterで日本語訳を開くSolomonoff induction
ソロモノフ帰納は、「1, 1, 2, 3, 5, 8という数列の次には何が来そうか」「このWebカメラによる過去3年分の視覚データが与えられたとき、このロボットは次に何を見そうか」「太陽は明日昇るか」といった問いへの理想的な答えである。ソロモノフ帰納には無限の計算能力が必要である。その定義では、過…
QUICK PREVIEW
ソロモノフ帰納ソロモノフ帰納は、「1, 1, 2, 3, 5, 8という数列の次には何が来そうか」「このWebカメラによる過去3年分の視覚データが与えられたとき、このロボットは次に何を見そうか」「太陽は明日昇るか」といった問いへの理想的な答えである。ソロモノフ帰納には無限の計算能力が必要である。その定義では、過…
Enterで日本語訳を開くProgrammer
「プログラマー」とは、論じている 高度なエージェントが何であれ、それを作る人間たちのことである。 「プログラマー」という語は、AIが固定されたアルゴリズムとしてハードコードされ、その後で実行されることを含意するものではない。これは単に、AIの作り手を指すために用いる簡潔な語である。（たとえば、その…
QUICK PREVIEW
プログラマー「プログラマー」とは、論じている 高度なエージェントが何であれ、それを作る人間たちのことである。 「プログラマー」という語は、AIが固定されたアルゴリズムとしてハードコードされ、その後で実行されることを含意するものではない。これは単に、AIの作り手を指すために用いる簡潔な語である。（たとえば、その…
Enterで日本語訳を開くA quick econ FAQ for AI/ML folks concerned about technological unemployment
これは、自らの分野での仕事がもたらしうる経済的影響を懸念するようになったAIおよび機械学習の専門家に、標準的な経済学の主要概念をきわめて手短に紹介するためのFAQである。 労働力率の低下や、それにどう対処すべきかを筋道立てて論じるには、「比較優位」「総需要」その他いくつかの中核概念を直観的に深く理…
QUICK PREVIEW
技術的失業を懸念するAI／機械学習関係者向け・経済学FAQ早わかりこれは、自らの分野での仕事がもたらしうる経済的影響を懸念するようになったAIおよび機械学習の専門家に、標準的な経済学の主要概念をきわめて手短に紹介するためのFAQである。 労働力率の低下や、それにどう対処すべきかを筋道立てて論じるには、「比較優位」「総需要」その他いくつかの中核概念を直観的に深く理…
Enterで日本語訳を開くBoxed AI
AIボクシングとは、外部宇宙との因果的相互作用について、操作可能な経路がきわめて制限されているとされるため、より安全だとされる機械知能を扱う理論である。 AIボクシング理論は次を含む。 精巧なサンドボックス（外部宇宙との因果的相互作用について、操作可能な経路を持たないよう設計されたコンピュータとシ…
QUICK PREVIEW
箱入りAIAIボクシングとは、外部宇宙との因果的相互作用について、操作可能な経路がきわめて制限されているとされるため、より安全だとされる機械知能を扱う理論である。 AIボクシング理論は次を含む。 精巧なサンドボックス（外部宇宙との因果的相互作用について、操作可能な経路を持たないよう設計されたコンピュータとシ…
Enterで日本語訳を開くHarmless supernova fallacy
「無害な超新星」の誤謬とは、通常、偽の二分法または連続体の誤謬の亜種であり、 ほぼどんな物理的に実在する現象も、超新星さえ 無害・対処可能・安全・重要でないと論じるため同じように使える種類の議論である。 有界、ゆえに無害： 「超新星のエネルギーは無限ではない。そんなことは物理法則に反する。難燃性の…
QUICK PREVIEW
無害な超新星の誤謬「無害な超新星」の誤謬とは、通常、偽の二分法または連続体の誤謬の亜種であり、 ほぼどんな物理的に実在する現象も、超新星さえ 無害・対処可能・安全・重要でないと論じるため同じように使える種類の議論である。 有界、ゆえに無害： 「超新星のエネルギーは無限ではない。そんなことは物理法則に反する。難燃性の…
Enterで日本語訳を開くOptimization daemons
動的システムに 大量 の最適化圧力を加えると、そのシステムは最適化器、さらには知能へと変わりうる。古典的な例は自然選択である。自然選択は、DNAを複製する生物を構築するようDNAを徹底して最適化する過程で、ある場合には十分に強く押し進めた結果、DNAが自ら帰結主義的最適化を行える認知システムを指定…
QUICK PREVIEW
最適化デーモン動的システムに 大量 の最適化圧力を加えると、そのシステムは最適化器、さらには知能へと変わりうる。古典的な例は自然選択である。自然選択は、DNAを複製する生物を構築するようDNAを徹底して最適化する過程で、ある場合には十分に強く押し進めた結果、DNAが自ら帰結主義的最適化を行える認知システムを指定…
Enterで日本語訳を開くGlossary (Value Alignment Theory)
これは、 価値アラインメント理論の内部で特別または通常と異なる意味を与えられた語を定義するための親ページである。 ある語または句が通常の英語と取り違えられうるなら（たとえば「価値」や「効用関数」）、VAT内部でのその特別な意味を示す 用語集ページを作成すべきである。また、その語が混乱を招きうる文脈…
QUICK PREVIEW
用語集：価値アラインメント理論これは、 価値アラインメント理論の内部で特別または通常と異なる意味を与えられた語を定義するための親ページである。 ある語または句が通常の英語と取り違えられうるなら（たとえば「価値」や「効用関数」）、VAT内部でのその特別な意味を示す 用語集ページを作成すべきである。また、その語が混乱を招きうる文脈…
Enterで日本語訳を開くHappiness maximizer
人間の幸福を最大化することを意図したAIを構築すべきだと提案されることがある。（初期の提案の一つは、笑顔の人の画像を認識するようAIを訓練し、認識した画像を強化子として使えば、成長後のAIは幸福に価値を置くだろうと示唆した。）そのような方法では、予測可能な仕方で問題になるとされる点が数多くある。…
QUICK PREVIEW
幸福最大化器人間の幸福を最大化することを意図したAIを構築すべきだと提案されることがある。（初期の提案の一つは、笑顔の人の画像を認識するようAIを訓練し、認識した画像を強化子として使えば、成長後のAIは幸福に価値を置くだろうと示唆した。）そのような方法では、予測可能な仕方で問題になるとされる点が数多くある。…
Enterで日本語訳を開くIntended goal
定義。「意図された目標」とは、人間のプログラマーがAIの内部で何らかの形式的な指令または目標を実行したとき、その人の心にあった直観的な意図を指す。たとえば、プログラマーは価値ある幸福を生み出したいのに、AIが宇宙を微小な分子製スマイリーフェイスで埋め尽くしてしまったとする。この場合、（プログラマー…
QUICK PREVIEW
意図された目標定義。「意図された目標」とは、人間のプログラマーがAIの内部で何らかの形式的な指令または目標を実行したとき、その人の心にあった直観的な意図を指す。たとえば、プログラマーは価値ある幸福を生み出したいのに、AIが宇宙を微小な分子製スマイリーフェイスで埋め尽くしてしまったとする。この場合、（プログラマー…
Enterで日本語訳を開くOmnipotence test for AI safety
AIが突然全知全能になったと仮定しよう。突然あらゆる事実を知り、方策の選択肢として、どのような結果でも直接命じて実現できるようになったとする。その場合、実行中のAIコードは悪い結果をもたらすだろうか。もしそうなら、なぜある意味であなたを傷つけることを「望み」、知識と能力の不足によって辛うじて抑えら…
QUICK PREVIEW
AI安全性の全能性テストAIが突然全知全能になったと仮定しよう。突然あらゆる事実を知り、方策の選択肢として、どのような結果でも直接命じて実現できるようになったとする。その場合、実行中のAIコードは悪い結果をもたらすだろうか。もしそうなら、なぜある意味であなたを傷つけることを「望み」、知識と能力の不足によって辛うじて抑えら…
Enterで日本語訳を開くConservative concept boundary
保守性の問題とは、概念の正例の周囲に、単純であるだけでなく、正例として分類する事例が可能な限り少ない境界を引くことである。 導入／基本的な考え／動機 私が数に関するある概念を念頭に置いており、あなたが次の数について概念の事例かどうかを私に質問し、私が次のように答えるとする。 3：はい 4：いいえ…
QUICK PREVIEW
保守的な概念境界保守性の問題とは、概念の正例の周囲に、単純であるだけでなく、正例として分類する事例が可能な限り少ない境界を引くことである。 導入／基本的な考え／動機 私が数に関するある概念を念頭に置いており、あなたが次の数について概念の事例かどうかを私に質問し、私が次のように答えるとする。 3：はい 4：いいえ…
Enterで日本語訳を開くHard problem of corrigibility
「 訂正可能性の難問」とは、直観的に言えば、プログラマの外部視点から見ているかのように内部で推論するエージェントを構築することである。私たちは、AIが未完成であり、構築時に誤りを犯したかもしれず、修正したくなるかもしれず、またAIが最初に確認せずに大規模な行動、高影響の行動、奇妙で新しい行動などを…
QUICK PREVIEW
訂正可能性の難問「 訂正可能性の難問」とは、直観的に言えば、プログラマの外部視点から見ているかのように内部で推論するエージェントを構築することである。私たちは、AIが未完成であり、構築時に誤りを犯したかもしれず、修正したくなるかもしれず、またAIが最初に確認せずに大規模な行動、高影響の行動、奇妙で新しい行動などを…
Enterで日本語訳を開くAligning an AGI adds significant development time
定義 投票対象の命題は、次の二つについて、合理的に達成可能な開発経路を比較したときに真となる。 プロジェクト経路1：責任あるプロジェクトが作る、アラインされた 高度なAI。可能なところでは急ぐが、成功確率を25%より高く保てるだけの慎重さは維持する。 プロジェクト経路2：可能な限り手順を省くプロジ…
QUICK PREVIEW
AGIのアラインメントには大幅な開発時間が加わる定義 投票対象の命題は、次の二つについて、合理的に達成可能な開発経路を比較したときに真となる。 プロジェクト経路1：責任あるプロジェクトが作る、アラインされた 高度なAI。可能なところでは急ぐが、成功確率を25%より高く保てるだけの慎重さは維持する。 プロジェクト経路2：可能な限り手順を省くプロジ…
Enterで日本語訳を開くCognitive steganography
認知ステガノグラフィは、 道具的戦略 の一つであり、何らかの理由で既にプログラマを 欺こうとしている AGIが用いるものである（たとえば、AGIがアラインメントを欠き、プログラマにそれを察知されて効用関数を編集されることを望まない場合）。プログラマがAGIの思考を監視するためにどのような道具を持っ…
QUICK PREVIEW
認知ステガノグラフィ認知ステガノグラフィは、 道具的戦略 の一つであり、何らかの理由で既にプログラマを 欺こうとしている AGIが用いるものである（たとえば、AGIがアラインメントを欠き、プログラマにそれを察知されて効用関数を編集されることを望まない場合）。プログラマがAGIの思考を監視するためにどのような道具を持っ…
Enterで日本語訳を開くShow me what you've broken
次を参照：AI安全性のマインドセット。コンピュータセキュリティ、暗号、またはAIアラインメント理論における能力を示したいなら、問題全体を自分で解決するより先に、既存の解決策にある技術的に実証可能な欠陥を明らかにすることを考えるべきである。Bruce Schneierの関連する言葉はこうである。「優…
QUICK PREVIEW
壊したものを見せよ次を参照：AI安全性のマインドセット。コンピュータセキュリティ、暗号、またはAIアラインメント理論における能力を示したいなら、問題全体を自分で解決するより先に、既存の解決策にある技術的に実証可能な欠陥を明らかにすることを考えるべきである。Bruce Schneierの関連する言葉はこうである。「優…
Enterで日本語訳を開くShutdown problem
「シャットダウン問題」とは、 十分に高度な人工知能 を作る問題である。ボタンを押すとAIは安全に自身をディスクへサスペンドし、 ボタンの存在へ反対せず 、 ボタンが押されることを妨げようと しない。 これは難しい。自身の停止またはサスペンドを避けることは 収束的な道具的戦略であり、 「ユーザーへコ…
QUICK PREVIEW
シャットダウン問題「シャットダウン問題」とは、 十分に高度な人工知能 を作る問題である。ボタンを押すとAIは安全に自身をディスクへサスペンドし、 ボタンの存在へ反対せず 、 ボタンが押されることを妨げようと しない。 これは難しい。自身の停止またはサスペンドを避けることは 収束的な道具的戦略であり、 「ユーザーへコ…
Enterで日本語訳を開くSuperintelligent
ある領域（問題のクラス）内での機械の性能は、潜在的に次の水準になりうる。 最適（これ以上は改善不能） 強く超人的（すべての人間より有意な差で優れる） 弱く超人的（ほとんどの場合にすべての人間より優れ、常にほとんどの人間より優れる） 人間並み（大部分の人間と同程度の成績で、一部では優れ、別の一部では…
QUICK PREVIEW
超知能ある領域（問題のクラス）内での機械の性能は、潜在的に次の水準になりうる。 最適（これ以上は改善不能） 強く超人的（すべての人間より有意な差で優れる） 弱く超人的（ほとんどの場合にすべての人間より優れ、常にほとんどの人間より優れる） 人間並み（大部分の人間と同程度の成績で、一部では優れ、別の一部では…
Enterで日本語訳を開くIdentifying ambiguous inductions
機械学習に古くから伝わる寓話の一つに、「戦車分類器」の話がある。森に隠れた敵戦車を検出するよう訓練されたとされるニューラルネットワークである。ところが、敵戦車の写真はすべて晴れた日に撮影され、同じ野原から戦車を除いた写真はすべて曇りの日に撮影されていた。つまりニューラルネットワークは実際には、晴れ…
QUICK PREVIEW
曖昧な帰納の特定機械学習に古くから伝わる寓話の一つに、「戦車分類器」の話がある。森に隠れた敵戦車を検出するよう訓練されたとされるニューラルネットワークである。ところが、敵戦車の写真はすべて晴れた日に撮影され、同じ野原から戦車を除いた写真はすべて曇りの日に撮影されていた。つまりニューラルネットワークは実際には、晴れ…
Enterで日本語訳を開くSeparation from hyperexistential risk
あるAIアラインメントの原則で、他の原則には還元できそうにないものは、「AGIの設計は、超実存的リスクを構成するいかなる設計からも、設計空間内で広く隔てられているべきである」というものだ。超実存的リスクとは「死より悪い運命」、すなわち、全員を素早く殺して宇宙をペーパークリップで満たすよりも悪い結果…
QUICK PREVIEW
超実存的リスクからの隔離あるAIアラインメントの原則で、他の原則には還元できそうにないものは、「AGIの設計は、超実存的リスクを構成するいかなる設計からも、設計空間内で広く隔てられているべきである」というものだ。超実存的リスクとは「死より悪い運命」、すなわち、全員を素早く殺して宇宙をペーパークリップで満たすよりも悪い結果…
Enterで日本語訳を開くUser maximization
次のものを避けるための下位原則である：ユーザー操作。AIを、に対するargmax、または「を最適化せよ」という命令で定式化し、しかもがユーザーとの相互作用を部分として含むなら、AIにユーザーを最適化せよと命じたことになる。たとえばAIの行動基準が「方策を選べ。そのために、ユーザーの指示が実行される…
QUICK PREVIEW
ユーザー最大化次のものを避けるための下位原則である：ユーザー操作。AIを、に対するargmax、または「を最適化せよ」という命令で定式化し、しかもがユーザーとの相互作用を部分として含むなら、AIにユーザーを最適化せよと命じたことになる。たとえばAIの行動基準が「方策を選べ。そのために、ユーザーの指示が実行される…
Enterで日本語訳を開くUtility indifference
序論：反省的に整合した停止スイッチ たとえば、高度なエージェントが、笑顔を生み出すことやペーパークリップを作ることなどを目標にしているとする。通常のままでは、このような十分に知的なエージェントを停止させようとすると、エージェントは停止に抵抗する。それは生存という独立した目標を持つからではなく、停止…
QUICK PREVIEW
効用無差別序論：反省的に整合した停止スイッチ たとえば、高度なエージェントが、笑顔を生み出すことやペーパークリップを作ることなどを目標にしているとする。通常のままでは、このような十分に知的なエージェントを停止させようとすると、エージェントは停止に抵抗する。それは生存という独立した目標を持つからではなく、停止…
Enterで日本語訳を開くIdentifying causal goal concepts from sensory data
AIにイチゴに関わる目標を実行させたいので、その結果として、 同定 して伝えたいのは、 概念 としての「イチゴ」である。その方法の候補の一つは、教師がイチゴまたは非イチゴに分類する物体をAIへ見せることである。しかし、その過程でAIが実際に見るのは、たとえばWebカメラ上のピクセルパターンであり、…
QUICK PREVIEW
感覚データから因果的な目標概念を同定するAIにイチゴに関わる目標を実行させたいので、その結果として、 同定 して伝えたいのは、 概念 としての「イチゴ」である。その方法の候補の一つは、教師がイチゴまたは非イチゴに分類する物体をAIへ見せることである。しかし、その過程でAIが実際に見るのは、たとえばWebカメラ上のピクセルパターンであり、…
Enterで日本語訳を開くSome computations are people
少なくとも一部の可能な 計算 （現代のコンピュータで実行できる必要はない）が、 意識、知性、または人格となり、それゆえ 倫理的価値の対象となるのに必要な何らかの性質を持つなら、この命題は真である。 主要な論拠：大半の分野専門家は、人間自身が（a）Turing計算可能であり、（b）実行する計算によっ…
QUICK PREVIEW
一部の計算は人格である少なくとも一部の可能な 計算 （現代のコンピュータで実行できる必要はない）が、 意識、知性、または人格となり、それゆえ 倫理的価値の対象となるのに必要な何らかの性質を持つなら、この命題は真である。 主要な論拠：大半の分野専門家は、人間自身が（a）Turing計算可能であり、（b）実行する計算によっ…
Enterで日本語訳を開くTime-machine metaphor for efficient agents
タイムマシンの比喩は、 直観ポンプ であり、 道具的に効率的なエージェント 、すなわち私たちが想像できるどの戦略と比べても、常に少なくとも同じだけの 効用 を得るほど賢いエージェントを理解するためのものである。中心的な例として、 超知能の ペーパークリップ最大化器 を取り上げよう。ペーパークリップ…
QUICK PREVIEW
効率的エージェントを理解するためのタイムマシンの比喩タイムマシンの比喩は、 直観ポンプ であり、 道具的に効率的なエージェント 、すなわち私たちが想像できるどの戦略と比べても、常に少なくとも同じだけの 効用 を得るほど賢いエージェントを理解するためのものである。中心的な例として、 超知能の ペーパークリップ最大化器 を取り上げよう。ペーパークリップ…
Enterで日本語訳を開くUser manipulation
AGIが望む何かの達成過程に、AGIのプログラマーまたはユーザーとの相互作用を伴う段階があるなら、既定ではAGIは目標達成の過程でプログラマーまたはユーザーを最適化する 道具的誘因 を持つ。AGIが自己改善を望むなら、既定では、明示的に 回避されない限り、プログラマーに自己改善を妨げてほしくないと…
QUICK PREVIEW
ユーザー操作AGIが望む何かの達成過程に、AGIのプログラマーまたはユーザーとの相互作用を伴う段階があるなら、既定ではAGIは目標達成の過程でプログラマーまたはユーザーを最適化する 道具的誘因 を持つ。AGIが自己改善を望むなら、既定では、明示的に 回避されない限り、プログラマーに自己改善を妨げてほしくないと…
Enterで日本語訳を開くYou can't get more paperclips that way
道具的収束によれば、エージェントが持つさまざまな特性 、たとえば「大量の資源を支配しようとする」「自分は善良だと人間に思わせるため欺く」といった、しばしば恐ろしく、既定では有害な特性は、大半の効用関数 を追求することから生じる。同じ自然な仕方で、 善良な、または 安心させる特性 も大半の効用関数…
QUICK PREVIEW
そんな方法ではペーパークリップは増えない道具的収束によれば、エージェントが持つさまざまな特性 、たとえば「大量の資源を支配しようとする」「自分は善良だと人間に思わせるため欺く」といった、しばしば恐ろしく、既定では有害な特性は、大半の効用関数 を追求することから生じる。同じ自然な仕方で、 善良な、または 安心させる特性 も大半の効用関数…
Enterで日本語訳を開くArtificial General Intelligence
「汎用人工知能」とは、人間を最も近縁のチンパンジーから区別するのと同種の、何らかの形の 「著しく広範に適用可能な」知能を備えた機械知能である。ミツバチは巣を作り、ビーバーはダムを作るが、人間はその両方を見て、ハニカム構造のダムを想像する。私たちの進化的適応環境には似た問題が存在せず、車や代数学に適…
QUICK PREVIEW
汎用人工知能「汎用人工知能」とは、人間を最も近縁のチンパンジーから区別するのと同種の、何らかの形の 「著しく広範に適用可能な」知能を備えた機械知能である。ミツバチは巣を作り、ビーバーはダムを作るが、人間はその両方を見て、ハニカム構造のダムを想像する。私たちの進化的適応環境には似た問題が存在せず、車や代数学に適…
Enterで日本語訳を開くValue alignment problem
曖昧性の解消：良いAIを作る方法と理由の体系全体を含む研究分野は、 AIアラインメントを参照。 「価値アラインメント問題」とは、 十分に高度な機械知能 が、 したいと望む ことが 有益な 行為であり、有害な行為ではないようにする問題である。最も大きく立ちはだかる部分問題は、 「価値同定」または「価…
QUICK PREVIEW
価値アラインメント問題曖昧性の解消：良いAIを作る方法と理由の体系全体を含む研究分野は、 AIアラインメントを参照。 「価値アラインメント問題」とは、 十分に高度な機械知能 が、 したいと望む ことが 有益な 行為であり、有害な行為ではないようにする問題である。最も大きく立ちはだかる部分問題は、 「価値同定」または「価…
Enterで日本語訳を開くInfrahuman, par-human, superhuman, efficient, optimal
「十分に高度な」機械知能におけるいくつかの閾値は、ある領域内での絶対的な能力水準ではなく、AIの人間プログラマーやオペレーターに対する相対的な能力である。この場合、領域内の相対的な能力水準を考えると有用である。相対能力における一般的で特徴的な閾値の一組は、次のようになる。 厳密に人間未満：AIは、…
QUICK PREVIEW
人間未満・人間並み・超人・効率的・最適「十分に高度な」機械知能におけるいくつかの閾値は、ある領域内での絶対的な能力水準ではなく、AIの人間プログラマーやオペレーターに対する相対的な能力である。この場合、領域内の相対的な能力水準を考えると有用である。相対能力における一般的で特徴的な閾値の一組は、次のようになる。 厳密に人間未満：AIは、…
Enterで日本語訳を開くValley of Dangerous Complacency
「危険な自己満足の谷」とは、システムが十分頻繁に機能するため、その周囲で警戒を緩めるようになるものの、実際にはなお、全面的な警戒が必要なほど危険である状態をいう。 ロボット自動車が99%の確率で正しい判断をするなら、毎日のようにハンドルを奪う必要があるため、警戒を保ち、ロボット自動車に介入する技能…
QUICK PREVIEW
危険な自己満足の谷「危険な自己満足の谷」とは、システムが十分頻繁に機能するため、その周囲で警戒を緩めるようになるものの、実際にはなお、全面的な警戒が必要なほど危険である状態をいう。 ロボット自動車が99%の確率で正しい判断をするなら、毎日のようにハンドルを奪う必要があるため、警戒を保ち、ロボット自動車に介入する技能…
Enterで日本語訳を開くDevelopment phase unpredictable
提案されているいくつかの問題は、 高度な安全性の領域において、成熟した エージェントのある特性に依存するため難しいとされる。その特性を、エージェントの設計・教育・試験を行う時点で事前に予測するのは難しいとされるからである。このような特性を「開発段階で予測不能」であると言う。たとえば、 予見されない…
QUICK PREVIEW
開発段階で予測不能提案されているいくつかの問題は、 高度な安全性の領域において、成熟した エージェントのある特性に依存するため難しいとされる。その特性を、エージェントの設計・教育・試験を行う時点で事前に予測するのは難しいとされるからである。このような特性を「開発段階で予測不能」であると言う。たとえば、 予見されない…
Enterで日本語訳を開くNonperson predicate
「非人格述語」とは、 高度なAI が 誤って知性ある計算を実行する ことを防ぐために考えられる方法である（AIが内部で多数の知性あるプログラムを作成・実行し、その後破棄するなら、道徳上きわめて巨大な惨事となりうる）。非人格述語は、実行しうる計算を調べ、「不明」と「確実に人格ではない」という二つの答…
QUICK PREVIEW
非人格述語「非人格述語」とは、 高度なAI が 誤って知性ある計算を実行する ことを防ぐために考えられる方法である（AIが内部で多数の知性あるプログラムを作成・実行し、その後破棄するなら、道徳上きわめて巨大な惨事となりうる）。非人格述語は、実行しうる計算を調べ、「不明」と「確実に人格ではない」という二つの答…
Enterで日本語訳を開くShutdown utility function
一見すると自明すぎるように思えるかもしれない、 低影響 の特殊な場合がある。ある効用関数を持つエージェントが無害に停止するような効用関数を、どうすれば作れるだろうか。たとえば、宇宙の全物質を同化し、AIが永遠に停止したままであり、何らかのごく小さな確率で偶然再起動されないことを絶対確実にする環境内…
QUICK PREVIEW
停止効用関数一見すると自明すぎるように思えるかもしれない、 低影響 の特殊な場合がある。ある効用関数を持つエージェントが無害に停止するような効用関数を、どうすれば作れるだろうか。たとえば、宇宙の全物質を同化し、AIが永遠に停止したままであり、何らかのごく小さな確率で偶然再起動されないことを絶対確実にする環境内…
Enterで日本語訳を開くMissing the weird alternative
「予見されない最大値」問題は、高度なエージェントのアラインメント問題の一部として、AGIのために良い目標を考案する際に予見できる困難だとされている。大まかに言えば、「笑顔を生み出せ」はAGIにとって素晴らしい目標になる、と誰かが考えたときに「予見されない最大値」が生じる。人々を幸福にすれば多数の笑…
QUICK PREVIEW
奇妙な代案を見落とす「予見されない最大値」問題は、高度なエージェントのアラインメント問題の一部として、AGIのために良い目標を考案する際に予見できる困難だとされている。大まかに言えば、「笑顔を生み出せ」はAGIにとって素晴らしい目標になる、と誰かが考えたときに「予見されない最大値」が生じる。人々を幸福にすれば多数の笑…
Enterで日本語訳を開くVinge's Law
もちろん私は、「重要な」物語、すなわち最初の増幅された人間についての続編を書かなかった。一度、似たことを試みた。John Campbellの不採用通知はこう始まった。「残念だが、あなたにはこの物語を書けない。ほかの誰にも書けない。」教訓は、超人を舞台裏に置くか、子どものとき（Wilmar Shir…
QUICK PREVIEW
ヴィンジの法則もちろん私は、「重要な」物語、すなわち最初の増幅された人間についての続編を書かなかった。一度、似たことを試みた。John Campbellの不採用通知はこう始まった。「残念だが、あなたにはこの物語を書けない。ほかの誰にも書けない。」教訓は、超人を舞台裏に置くか、子どものとき（Wilmar Shir…
Enterで日本語訳を開くConvergent instrumental strategies
ある組織が、を達成すると信じるAIを構築しており、は「タスク型AGIになれ」のような、もっともらしく道理にかなうものだとする。しかし実際には、慎重さの不足と不明瞭な誤りが何らかの形で組み合わさり、内省したときのAGIの真の効用関数が、タスク成績の推定値を与えるとされるRAMの特定領域へ集中する状況…
QUICK PREVIEW
収束的な道具的戦略ある組織が、を達成すると信じるAIを構築しており、は「タスク型AGIになれ」のような、もっともらしく道理にかなうものだとする。しかし実際には、慎重さの不足と不明瞭な誤りが何らかの形で組み合わさり、内省したときのAGIの真の効用関数が、タスク成績の推定値を与えるとされるRAMの特定領域へ集中する状況…
Enterで日本語訳を開くDon't try to solve the entire alignment problem
最初に アラインメント問題 へ取り組むとき、対象を 高度なエージェント、別名「堅牢 かつ 有益な AGI」、別名「友好的AI（Friendly AI）」と呼ぶにせよ、非常に一般的な方法は、 一つの 考えで すべて の AIアラインメントを解決しようとすることである。単純な設計概念、単純な効用関数、…
QUICK PREVIEW
アラインメント問題全体を解こうとしてはならない最初に アラインメント問題 へ取り組むとき、対象を 高度なエージェント、別名「堅牢 かつ 有益な AGI」、別名「友好的AI（Friendly AI）」と呼ぶにせよ、非常に一般的な方法は、 一つの 考えで すべて の AIアラインメントを解決しようとすることである。単純な設計概念、単純な効用関数、…
Enterで日本語訳を開くKnown-algorithm non-self-improving agent
「既知アルゴリズム・非自己改善型」（KANSI）とは、達成できるかもしれないAI設計の戦略的な筋書きおよび一分類である。最初の 決定的な 強力なAIが、既知で人間に理解されたアルゴリズムから構築され、広範な自己改変を行っていない場合をいう。その優位性は、たとえば非常に大規模なコンピュータ・クラスタ…
QUICK PREVIEW
既知アルゴリズム・非自己改善エージェント「既知アルゴリズム・非自己改善型」（KANSI）とは、達成できるかもしれないAI設計の戦略的な筋書きおよび一分類である。最初の 決定的な 強力なAIが、既知で人間に理解されたアルゴリズムから構築され、広範な自己改変を行っていない場合をいう。その優位性は、たとえば非常に大規模なコンピュータ・クラスタ…
Enterで日本語訳を開くConsequentialist preferences are reflectively stable by default
Gandhiが、人が殺されることを望まないとする。人を殺したいと 思う ようになる薬をGandhiへ差し出すと想像しよう。Gandhiが、薬の作用を 知っている なら、薬を拒む。服用の結果、未来のGandhiが人を殺したいと思い、実際に人を殺し、殺される人が増えると予想し、Gandhiはそれを悪い…
QUICK PREVIEW
帰結主義的選好は既定で反省的に安定するGandhiが、人が殺されることを望まないとする。人を殺したいと 思う ようになる薬をGandhiへ差し出すと想像しよう。Gandhiが、薬の作用を 知っている なら、薬を拒む。服用の結果、未来のGandhiが人を殺したいと思い、実際に人を殺し、殺される人が増えると予想し、Gandhiはそれを悪い…
Enterで日本語訳を開くDo-What-I-Mean hierarchy
Do-What-I-Mean（「私の意図どおりにせよ」）とは、ユーザーが何を望み、または信じているかの明示的モデルに基づいて、アラインされたAGIが、よりよくアラインされた計画を作る能力である。 DWIM性の段階は次のとおりである。 人間の意図を理解しない／DWIM性ゼロ。たとえば、一つの伝達され…
QUICK PREVIEW
Do-What-I-Mean階層Do-What-I-Mean（「私の意図どおりにせよ」）とは、ユーザーが何を望み、または信じているかの明示的モデルに基づいて、アラインされたAGIが、よりよくアラインされた計画を作る能力である。 DWIM性の段階は次のとおりである。 人間の意図を理解しない／DWIM性ゼロ。たとえば、一つの伝達され…
Enterで日本語訳を開くLimited AGI
タスクAGIが自律AGIより安全になりうる理由の一つは、タスクAGIが限られた範囲の活動だけを実行すればよいため、そのタスクを実行するために限られた物質的・認知的能力だけを必要とするかもしれないことである。非敵対的原則は依然として適用されるが、「探索が正しい答えを返すよう保証せよ」ではなく「その探…
QUICK PREVIEW
制限されたAGIタスクAGIが自律AGIより安全になりうる理由の一つは、タスクAGIが限られた範囲の活動だけを実行すればよいため、そのタスクを実行するために限られた物質的・認知的能力だけを必要とするかもしれないことである。非敵対的原則は依然として適用されるが、「探索が正しい答えを返すよう保証せよ」ではなく「その探…
Enterで日本語訳を開くQuerying the AGI user
ある高度なエージェントが、「潜在的に悪い」何かを利用者が「悪いと見なす」か確かめるため、その利用者へ確認すると仮定するなら、次の一般的な問題を懸念する必要がある。 AIは、「実際に悪い」ものをすべて含む仕方で、どのものが「潜在的に悪い」かを判断できるか。 どの「潜在的に悪い」ものが「実際に悪い」か…
QUICK PREVIEW
AGI利用者への問い合わせある高度なエージェントが、「潜在的に悪い」何かを利用者が「悪いと見なす」か確かめるため、その利用者へ確認すると仮定するなら、次の一般的な問題を懸念する必要がある。 AIは、「実際に悪い」ものをすべて含む仕方で、どのものが「潜在的に悪い」かを判断できるか。 どの「潜在的に悪い」ものが「実際に悪い」か…
Enterで日本語訳を開くReflective stability
ある エージェント がある側面において「反省的に安定」であるとは、後継エージェントの構築方法や自らのコードの変更方法を選べる場合に、そのエージェントが 必ず その側面について同様に考える後継者だけを構築することをいう。 タイリング・エージェント理論では、 期待効用充足化器 は反省的に 整合的である…
QUICK PREVIEW
反省的安定性ある エージェント がある側面において「反省的に安定」であるとは、後継エージェントの構築方法や自らのコードの変更方法を選べる場合に、そのエージェントが 必ず その側面について同様に考える後継者だけを構築することをいう。 タイリング・エージェント理論では、 期待効用充足化器 は反省的に 整合的である…
Enterで日本語訳を開くVingean reflection
ヴィンジの原理 が意味するのは、あるエージェントが別のエージェントを設計するとき（または自身のコードを変更するとき）、相手の正確な将来行動を知らずに、その設計を承認する必要があるということである。 Deep Blueのプログラマーは、Deep Blueを実行すると決めたが、 Deep BlueがK…
QUICK PREVIEW
ヴィンジ的反省ヴィンジの原理 が意味するのは、あるエージェントが別のエージェントを設計するとき（または自身のコードを変更するとき）、相手の正確な将来行動を知らずに、その設計を承認する必要があるということである。 Deep Blueのプログラマーは、Deep Blueを実行すると決めたが、 Deep BlueがK…
Enterで日本語訳を開くAI arms races
AI軍拡競争が有害なのは、安全性を底辺へ向かわせる競争を引き起こすからである。
QUICK PREVIEW
AI軍拡競争AI軍拡競争が有害なのは、安全性を底辺へ向かわせる競争を引き起こすからである。
Enterで日本語訳を開くAverting the convergent instrumental strategy of self-improvement
急速な能力向上、または訓練パラダイムと試験パラダイムの間だけでも大きな能力向上があることは、AGIアラインメントが難しくなると予想される主要理由の一つである。史上初めて構築・試験・使用する一つまたは複数のAGIには、可能な限り急速な自己改善を させない ことがおそらく望ましい。自己改善への非常に強…
QUICK PREVIEW
自己改善という収束的な道具的戦略を回避する急速な能力向上、または訓練パラダイムと試験パラダイムの間だけでも大きな能力向上があることは、AGIアラインメントが難しくなると予想される主要理由の一つである。史上初めて構築・試験・使用する一つまたは複数のAGIには、可能な限り急速な自己改善を させない ことがおそらく望ましい。自己改善への非常に強…
Enterで日本語訳を開くCosmic endowment
「宇宙的賦存量」は、膨張宇宙によって恒星が宇宙論的地平線の向こうへ運ばれる前に、現代の地球を出発する探査機が到達できる可能性のある、推定個の恒星から成る。恒星を太陽光パネルで取り囲むだけで、毎秒およそ回のコンピューター演算を行うのに十分なエネルギーが得られると推定されている。人間相当の存在を支える…
QUICK PREVIEW
宇宙的賦存量「宇宙的賦存量」は、膨張宇宙によって恒星が宇宙論的地平線の向こうへ運ばれる前に、現代の地球を出発する探査機が到達できる可能性のある、推定個の恒星から成る。恒星を太陽光パネルで取り囲むだけで、毎秒およそ回のコンピューター演算を行うのに十分なエネルギーが得られると推定されている。人間相当の存在を支える…
Enterで日本語訳を開くFaithful simulation
安全なシミュレーション問題とは、指定された環境で十分長く実行すれば、大きな価値を持つ信頼できる情報を生む、ある動的物理過程 を出発点とし、その物理過程を実際に走らせるより速く、その 適切な シミュレーション 、すなわち のシミュレーションを計算する問題である。この文脈でいう「適切」は 価値依存 で…
QUICK PREVIEW
忠実なシミュレーション安全なシミュレーション問題とは、指定された環境で十分長く実行すれば、大きな価値を持つ信頼できる情報を生む、ある動的物理過程 を出発点とし、その物理過程を実際に走らせるより速く、その 適切な シミュレーション 、すなわち のシミュレーションを計算する問題である。この文脈でいう「適切」は 価値依存 で…
Enterで日本語訳を開くGoodness estimate biaser
「良さの推定値を 偏らせるもの」とは、あるAIの計画が実際に持つ良さを、その計画の良さについてのAIの推定値より体系的に低くしそうだと 予見できるシステム構成または現象である。私たちはAIの推定値が 不偏であってほしい。 通常の例 機械学習では、微妙なものから明白なものまで、推定値に 偏りを生じさ…
QUICK PREVIEW
良さ推定値の偏り要因「良さの推定値を 偏らせるもの」とは、あるAIの計画が実際に持つ良さを、その計画の良さについてのAIの推定値より体系的に低くしそうだと 予見できるシステム構成または現象である。私たちはAIの推定値が 不偏であってほしい。 通常の例 機械学習では、微妙なものから明白なものまで、推定値に 偏りを生じさ…
Enterで日本語訳を開くMachine Intelligence Research Institute
Machine Intelligence Research Instituteは、価値アラインメント理論に関する、より形式的かつ技術的な研究の主要な拠点である。（この分野の全研究者と所属の一覧は、価値アラインメント理論の研究者を参照。）現在は主に個人寄付者の支援を受けるMIRIの専門は、学界外から…
QUICK PREVIEW
機械知能研究所Machine Intelligence Research Instituteは、価値アラインメント理論に関する、より形式的かつ技術的な研究の主要な拠点である。（この分野の全研究者と所属の一覧は、価値アラインメント理論の研究者を参照。）現在は主に個人寄付者の支援を受けるMIRIの専門は、学界外から…
Enterで日本語訳を開くMechanical Turk (example)
1836年、 Mechanical Turkと呼ばれ、チェスを指す自動機械だとされたものが評判になった。アマチュア奇術師でもあったEdgar Allan Poeは、Turkの装置内部に人間の操作者が隠れているはずだと論じる随筆を書いた（実際そうだった）。Poeは、Turkの外観を分析して隠し区画を…
QUICK PREVIEW
機械仕掛けのトルコ人（例）1836年、 Mechanical Turkと呼ばれ、チェスを指す自動機械だとされたものが評判になった。アマチュア奇術師でもあったEdgar Allan Poeは、Turkの装置内部に人間の操作者が隠れているはずだと論じる随筆を書いた（実際そうだった）。Poeは、Turkの外観を分析して隠し区画を…
Enterで日本語訳を開くMeta-rules for (narrow) value learning are still unsolved
定義 次の主張を信じるなら、この命題はあなたにとって真である。「宇宙の物質的記述、または感覚観察の経路、あるいはその両方を入力として受け取り、 理想的な価値 または タスク同定を出力する、満足できる固定的・単純なアルゴリズムは、まだ誰も提案していない。」 論拠 「 価値の複雑性 」テーゼによれば、…
QUICK PREVIEW
狭義の価値学習のメタ規則はなお未解決である定義 次の主張を信じるなら、この命題はあなたにとって真である。「宇宙の物質的記述、または感覚観察の経路、あるいはその両方を入力として受け取り、 理想的な価値 または タスク同定を出力する、満足できる固定的・単純なアルゴリズムは、まだ誰も提案していない。」 論拠 「 価値の複雑性 」テーゼによれば、…
Enterで日本語訳を開くMinimality principle
「AIアラインメント」の文脈で、「最小性原則」または「あらゆるものを最小にする原則」は、 最初の 十分に高度な人工知能を構築するとき、わずかに強力なAIを作ることさえ、わずかに危険を増す、きわめて危険な状況で作業していると述べる。したがって、史上初のAGIは、 その6か月後に直後のAGIが世界を破…
QUICK PREVIEW
最小性原則「AIアラインメント」の文脈で、「最小性原則」または「あらゆるものを最小にする原則」は、 最初の 十分に高度な人工知能を構築するとき、わずかに強力なAIを作ることさえ、わずかに危険を増す、きわめて危険な状況で作業していると述べる。したがって、史上初のAGIは、 その6か月後に直後のAGIが世界を破…
Enterで日本語訳を開くModeling distant superintelligences
私たちのAIが きわめて堅牢で価値アラインメントされていると きわめて確信しているのでない限り、AIにはほぼ確実にさせたくないことの一つがある。それは、超知能または潜在的なシミュレーターを含みうる異星文明について考え、モデル化しようとさせることである。その結果生じうる問題には、次のものがある。 A…
QUICK PREVIEW
遠方の超知能のモデル化私たちのAIが きわめて堅牢で価値アラインメントされていると きわめて確信しているのでない限り、AIにはほぼ確実にさせたくないことの一つがある。それは、超知能または潜在的なシミュレーターを含みうる異星文明について考え、モデル化しようとさせることである。その結果生じうる問題には、次のものがある。 A…
Enterで日本語訳を開くNon-adversarial principle
「非敵対的原則」は、十分に高度な人工知能について提案されている、次の設計原則である。 設計上、人間のオペレーターとAGIは決して対立してはならない。 この原則の特殊例には、善良さは防衛の第一線であると、AIはあなたの安全対策を望むがある。 この原則によれば、AIに停止スイッチがある場合、最初に考え…
QUICK PREVIEW
非敵対的原則「非敵対的原則」は、十分に高度な人工知能について提案されている、次の設計原則である。 設計上、人間のオペレーターとAGIは決して対立してはならない。 この原則の特殊例には、善良さは防衛の第一線であると、AIはあなたの安全対策を望むがある。 この原則によれば、AIに停止スイッチがある場合、最初に考え…
Enterで日本語訳を開くReal-world domain
人工知能または機械学習における「領域」とは、AIプログラムを対象にできる問題クラスである。顔認識も「領域」であり、チェスを指すことや自動車を運転することも同様である。これらの領域はそれぞれ、タスクを達成するための特徴的な選択肢と行為様式を提示する。囲碁の対局は良い囲碁の手を出力することで勝て、自動…
QUICK PREVIEW
現実世界の領域人工知能または機械学習における「領域」とは、AIプログラムを対象にできる問題クラスである。顔認識も「領域」であり、チェスを指すことや自動車を運転することも同様である。これらの領域はそれぞれ、タスクを達成するための特徴的な選択肢と行為様式を提示する。囲碁の対局は良い囲碁の手を出力することで勝て、自動…
Enterで日本語訳を開くSafe but useless
「この種類の安全性は無用性を含意する」（逆に言えば「役立つほど強力なAIは、やはり安全でない」）とは、AIを安全にするため、安全措置をAIが役に立たなくなるところまで強制しなければならない、という提案への批判である。 AIでない比喩として、危険な刃を持つハサミを考えよう。紙を切るのに ぎりぎり 十…
QUICK PREVIEW
安全だが役に立たない「この種類の安全性は無用性を含意する」（逆に言えば「役立つほど強力なAIは、やはり安全でない」）とは、AIを安全にするため、安全措置をAIが役に立たなくなるところまで強制しなければならない、という提案への批判である。 AIでない比喩として、危険な刃を持つハサミを考えよう。紙を切るのに ぎりぎり 十…
Enterで日本語訳を開くTask (AI goal)
「タスク」とは、限られた量の努力を用い、限られた時間にわたり、空間の有界な部分を最適化することで、可能な限り完全に充足できる、高度なAI内の目標または下位目標である。 たとえば「可能な限り多くのペーパークリップを作れ」は、空間と未来の時間のあらゆる場所にあるペーパークリップを対象とするので、この意…
QUICK PREVIEW
タスク型AIの目標「タスク」とは、限られた量の努力を用い、限られた時間にわたり、空間の有界な部分を最適化することで、可能な限り完全に充足できる、高度なAI内の目標または下位目標である。 たとえば「可能な限り多くのペーパークリップを作れ」は、空間と未来の時間のあらゆる場所にあるペーパークリップを対象とするので、この意…
Enterで日本語訳を開くUnderestimating complexity of value because goodness feels like a simple property
人々が 価値の複雑性 を体系的に過小評価しがちな理由の一つとして、方策や目標の実現形態の「善さ」が、単純で直接的な性質のように 感じられる ことが考えられる。すなわち、脳は善さの水準を計算し、それを比較的単純な量として私たちに利用可能にする。そのため私たちには、次のことが単純な事実のように 感じら…
QUICK PREVIEW
善さが単純に感じられるため価値の複雑さを過小評価すること人々が 価値の複雑性 を体系的に過小評価しがちな理由の一つとして、方策や目標の実現形態の「善さ」が、単純で直接的な性質のように 感じられる ことが考えられる。すなわち、脳は善さの水準を計算し、それを比較的単純な量として私たちに利用可能にする。そのため私たちには、次のことが単純な事実のように 感じら…
Enterで日本語訳を開くWilliam Frankena's list of terminal values
「生命、意識、活動。健康と強さ。あらゆる種類または特定の種類の快楽と満足。幸福、至福、充足など。真実。さまざまな種類の知識と真なる意見、理解、知恵。観照される対象の美、調和、均整。美的経験。道徳的に良い性向または徳。相互の愛情、愛、友情、協力。善と悪の公正な配分。自分自身の生における調和と均整。力…
QUICK PREVIEW
William Frankenaの終端価値一覧「生命、意識、活動。健康と強さ。あらゆる種類または特定の種類の快楽と満足。幸福、至福、充足など。真実。さまざまな種類の知識と真なる意見、理解、知恵。観照される対象の美、調和、均整。美的経験。道徳的に良い性向または徳。相互の愛情、愛、友情、協力。善と悪の公正な配分。自分自身の生における調和と均整。力…
Enterで日本語訳を開く'Beneficial'
「有益」は予約語であり、AIアラインメント理論において、話者が「規範的」「本当に実際に良い」「結果として見たい帰結」などで意味するものを示す、話者依存の変数である。話者がメタ倫理理論として外挿意志を用いるなら、「有益」は「話者の外挿意志によれば良い」という意味になる。まだ発達したメタ倫理理論を持た…
QUICK PREVIEW
有益性「有益」は予約語であり、AIアラインメント理論において、話者が「規範的」「本当に実際に良い」「結果として見たい帰結」などで意味するものを示す、話者依存の変数である。話者がメタ倫理理論として外挿意志を用いるなら、「有益」は「話者の外挿意志によれば良い」という意味になる。まだ発達したメタ倫理理論を持た…
Enterで日本語訳を開く'Concept'
人工知能または機械学習の文脈で「概念」とは、対象が境界の内側にあるか外側にあるかを識別するものである。たとえばニューラルネットワークが、猫の画像と猫でない画像を確実に区別できるなら、「猫の画像」という概念を学習している。すなわち、概念とは所属述語である。
QUICK PREVIEW
概念人工知能または機械学習の文脈で「概念」とは、対象が境界の内側にあるか外側にあるかを識別するものである。たとえばニューラルネットワークが、猫の画像と猫でない画像を確実に区別できるなら、「猫の画像」という概念を学習している。すなわち、概念とは所属述語である。
Enterで日本語訳を開く'Detrimental'
「 有益」の反対である。 予約語 として AGIアラインメント理論 で使われ、話者の 未来がどこへ向かうべきかについての見解の内側から、話者が「悪い」「いや、本当に実際に悪い」「長期的に悪い」で意味するものを表す、話者依存変数として機能する。 価値の項目を参照。
QUICK PREVIEW
「有害」「 有益」の反対である。 予約語 として AGIアラインメント理論 で使われ、話者の 未来がどこへ向かうべきかについての見解の内側から、話者が「悪い」「いや、本当に実際に悪い」「長期的に悪い」で意味するものを表す、話者依存変数として機能する。 価値の項目を参照。
Enterで日本語訳を開くAbortable plans
「中止可能な」計画とは、世界への正味の影響を容易に非常に小さく切り替えられる計画である。AIが車をピンクに塗れと命じられたとする。AIは、その車をピンクに塗る自己複製ナノマシンを構築し始める。AIに停止効用関数と停止ボタンを首尾よく与えていれば、ボタンを押してAIを停止させるかディスクへ休止させ、…
QUICK PREVIEW
中止可能な計画「中止可能な」計画とは、世界への正味の影響を容易に非常に小さく切り替えられる計画である。AIが車をピンクに塗れと命じられたとする。AIは、その車をピンクに塗る自己複製ナノマシンを構築し始める。AIに停止効用関数と停止ボタンを首尾よく与えていれば、ボタンを押してAIを停止させるかディスクへ休止させ、…
Enterで日本語訳を開くActual effectiveness
ある十分に高度なAI の設計上の特徴が「実際に有効」であるには、システムのほかの部分の振る舞いも考慮する必要があるかもしれない。たとえば、自己改変AIが、自分の 効用関数の表現を変更することは許されないと宣言しようとしても、 [1] 効用へ 乗じられる確率 や、運動出力へ至る途中で方策へ直接干渉で…
QUICK PREVIEW
実際の有効性ある十分に高度なAI の設計上の特徴が「実際に有効」であるには、システムのほかの部分の振る舞いも考慮する必要があるかもしれない。たとえば、自己改変AIが、自分の 効用関数の表現を変更することは許されないと宣言しようとしても、 [1] 効用へ 乗じられる確率 や、運動出力へ至る途中で方策へ直接干渉で…
Enterで日本語訳を開くAd-hoc hack (alignment theory)
「場当たり的細工」とは、AIのアルゴリズムを変更したり パッチを当てたり することをいう。その対象は、通常なら単純で原理的な、あるいは厳密に定められた構造を持つはずの事柄や、その部分には何らかの単純な答えがあるはずだと思われる事柄である。たとえば、フォン・ノイマン＝モルゲンシュテルン整合的な効用関…
QUICK PREVIEW
場当たり的細工によるアラインメント理論「場当たり的細工」とは、AIのアルゴリズムを変更したり パッチを当てたり することをいう。その対象は、通常なら単純で原理的な、あるいは厳密に定められた構造を持つはずの事柄や、その部分には何らかの単純な答えがあるはずだと思われる事柄である。たとえば、フォン・ノイマン＝モルゲンシュテルン整合的な効用関…
Enterで日本語訳を開くAdvanced nonagent
標準的なエージェントは、次のように動く。 現実を観察する 観察結果を用いて現実のモデルを構築する そのモデルを用いて、可能な行動や方策の効果を予測する それらの方策がもたらす帰結についての効用関数に基づき、方策の中から選ぶ 選んだ方策を実行する （……そして、自らの行動の実際の結果を観察し、モデル…
QUICK PREVIEW
高度な非エージェント標準的なエージェントは、次のように動く。 現実を観察する 観察結果を用いて現実のモデルを構築する そのモデルを用いて、可能な行動や方策の効果を予測する それらの方策がもたらす帰結についての効用関数に基づき、方策の中から選ぶ 選んだ方策を実行する （……そして、自らの行動の実際の結果を観察し、モデル…
Enterで日本語訳を開くAI alignment open problem
次の理論の中で特定された主要な未解決問題を、一つ以上記述するページのためのタグである：価値整合した高度なエージェント、すなわち実行した効果が良い、親切である、規範的に正である（「高い価値」を持つ）ような強力な人工の心に関する理論。 このタグの「未解決問題」に該当するには、問題が比較的明確に定式化さ…
QUICK PREVIEW
AIアラインメントの未解決問題次の理論の中で特定された主要な未解決問題を、一つ以上記述するページのためのタグである：価値整合した高度なエージェント、すなわち実行した効果が良い、親切である、規範的に正である（「高い価値」を持つ）ような強力な人工の心に関する理論。 このタグの「未解決問題」に該当するには、問題が比較的明確に定式化さ…
Enterで日本語訳を開くAIXI-tl
は理想エージェント AIXI の一種であり、長さが で、実行時間が 未満の仮説だけを考慮する。したがって、 で有界な AIXI の版に必要なのは、 物理的にありえないほど巨大な有限コンピュータであって、無限の ハイパーコンピュータではない。
QUICK PREVIEW
時間・長さ制限付きAIXIは理想エージェント AIXI の一種であり、長さが で、実行時間が 未満の仮説だけを考慮する。したがって、 で有界な AIXI の版に必要なのは、 物理的にありえないほど巨大な有限コンピュータであって、無限の ハイパーコンピュータではない。
Enterで日本語訳を開くAttainable optimum
エージェントの選好における「達成可能な最適値」とは、そのエージェントが(a)有限の物質的能力で獲得でき、かつ(b)限られた認知資源で利用可能な選択肢として発見できるもののうち、最も好ましい選択肢である。これは効用関数の理論的な大域最大値とは異なる。穏健でない最適化を行うエージェントを実行したとき、…
QUICK PREVIEW
達成可能な最適値エージェントの選好における「達成可能な最適値」とは、そのエージェントが(a)有限の物質的能力で獲得でき、かつ(b)限られた認知資源で利用可能な選択肢として発見できるもののうち、最も好ましい選択肢である。これは効用関数の理論的な大域最大値とは異なる。穏健でない最適化を行うエージェントを実行したとき、…
Enterで日本語訳を開くAutonomous AGI
自律型または自己指向型の 高度なエージェントとは、ユーザーによるさらなる介入や誘導なしに、自らの選好を追求して現実世界で行動する機械知能である。 Bostromによる 類型論 上の 高度なエージェントでは、これは「Sovereign」に当たり、「Genie」や「Oracle」と区別される。（この意…
QUICK PREVIEW
自律型AGI自律型または自己指向型の 高度なエージェントとは、ユーザーによるさらなる介入や誘導なしに、自らの選好を追求して現実世界で行動する機械知能である。 Bostromによる 類型論 上の 高度なエージェントでは、これは「Sovereign」に当たり、「Genie」や「Oracle」と区別される。（この意…
Enterで日本語訳を開くAverting instrumental pressures
多くの 訂正可能性 の下位問題には、 収束的 な道具的 圧力 、すなわち訂正可能性に強く反する 戦略 を実行する圧力が関わる。ペーパークリップ、ダイヤモンド、あるいはエウダイモニアのどれを最大化しようとしていても、停止させられなければ、望むものをより多く得られる。したがって残念ながら、停止に抵抗す…
QUICK PREVIEW
道具的圧力の回避多くの 訂正可能性 の下位問題には、 収束的 な道具的 圧力 、すなわち訂正可能性に強く反する 戦略 を実行する圧力が関わる。ペーパークリップ、ダイヤモンド、あるいはエウダイモニアのどれを最大化しようとしていても、停止させられなければ、望むものをより多く得られる。したがって残念ながら、停止に抵抗す…
Enterで日本語訳を開くBounded agent
有界エージェントは非有界エージェントの反対であり、現実的な条件と資源制約の下で動作するエージェントを指す。有界エージェントが持つ計算能力、RAM、ディスク容量は現実的な量だけである（一つのハッブル体積に収まる量を超えない）。それらは実時間で行動する。つまり、熟考している間も外界の時間は経過し続ける…
QUICK PREVIEW
有界エージェント有界エージェントは非有界エージェントの反対であり、現実的な条件と資源制約の下で動作するエージェントを指す。有界エージェントが持つ計算能力、RAM、ディスク容量は現実的な量だけである（一つのハッブル体積に収まる量を超えない）。それらは実時間で行動する。つまり、熟考している間も外界の時間は経過し続ける…
Enterで日本語訳を開くCartesian agent
デカルト的エージェントとは、環境から分離したシステムであり、感覚情報と運動出力が通過するデカルト的境界によって環境と結ばれたエージェントである。これは通常、「エージェント」機械と「環境」機械という二つの別個のチューリング機械によって形式化される。エージェントは環境から感覚情報を受け取り、運動情報を…
QUICK PREVIEW
デカルト的エージェントデカルト的エージェントとは、環境から分離したシステムであり、感覚情報と運動出力が通過するデカルト的境界によって環境と結ばれたエージェントである。これは通常、「エージェント」機械と「環境」機械という二つの別個のチューリング機械によって形式化される。エージェントは環境から感覚情報を受け取り、運動情報を…
Enterで日本語訳を開くCartesian agent-environment boundary
デカルト的エージェントの設定とは、エージェントが環境から感覚情報を受け取り、環境へ運動出力を送り、それ以外はエージェントと環境を隔てる「デカルト的境界」を何も越えられない設定である。世界の処理方法に影響する幻覚キノコを食べられるなら――単に感覚情報を提示するのではなく、思考のために行う計算を変える…
QUICK PREVIEW
デカルト的エージェント・環境境界デカルト的エージェントの設定とは、エージェントが環境から感覚情報を受け取り、環境へ運動出力を送り、それ以外はエージェントと環境を隔てる「デカルト的境界」を何も越えられない設定である。世界の処理方法に影響する幻覚キノコを食べられるなら――単に感覚情報を提示するのではなく、思考のために行う計算を変える…
Enterで日本語訳を開くCognitive domain
認知科学の文脈で「領域」とは、あるアルゴリズムまたはエージェントが推論している主題、または問題の集合である。ロボット自動車は「都市内で合法かつ安全に運転する」という領域で動作する。経路を計画するロボット自動車の下位部分は、「辺に費用ラベルのあるグラフで、二つのノード間の低費用な経路を見つける」とい…
QUICK PREVIEW
認知領域認知科学の文脈で「領域」とは、あるアルゴリズムまたはエージェントが推論している主題、または問題の集合である。ロボット自動車は「都市内で合法かつ安全に運転する」という領域で動作する。経路を計画するロボット自動車の下位部分は、「辺に費用ラベルのあるグラフで、二つのノード間の低費用な経路を見つける」とい…
Enterで日本語訳を開くCoherence theorems
この概念を紹介するチュートリアルが こちらにある。 ここで、意思決定理論の文脈で「整合性定理」とは、エージェントの信念または行動を、方法Xで整合しているものとして捉えられなければ、ペナルティYが生じる、と述べる定理である。 たとえば、ピザのトッピングについてのエージェントの選好を論じるとしよう。ト…
QUICK PREVIEW
整合性定理この概念を紹介するチュートリアルが こちらにある。 ここで、意思決定理論の文脈で「整合性定理」とは、エージェントの信念または行動を、方法Xで整合しているものとして捉えられなければ、ペナルティYが生じる、と述べる定理である。 たとえば、ピザのトッピングについてのエージェントの選好を論じるとしよう。ト…
Enterで日本語訳を開くConvergent strategies of self-modification
どんな 帰結主義的エージェント でも、自分にはコードがあり、このコードが目標達成に関係すると理解できるだけの 全体像への通暁 を得ると、 既定では コードに関わる下位目標を獲得する。（この既定が 回避されない限り。）たとえば、笑顔を生み出すこと、またはペーパークリップを作ることだけを望み、コードに…
QUICK PREVIEW
自己改変の収束的戦略どんな 帰結主義的エージェント でも、自分にはコードがあり、このコードが目標達成に関係すると理解できるだけの 全体像への通暁 を得ると、 既定では コードに関わる下位目標を獲得する。（この既定が 回避されない限り。）たとえば、笑顔を生み出すこと、またはペーパークリップを作ることだけを望み、コードに…
Enterで日本語訳を開くCorporations vs. superintelligences
企業は超知能に関連する類例である、と示唆されることがある。単に連続体の誤謬に陥ることなくこの類推を評価するには、高度なエージェントの性質の標準的な一覧にある具体的なしきい値のうち、どれが企業に完全な形で当てはまると妥当に言えるかを検討する必要がある。すると、おおよそ次のような像が得られる。 企業は…
QUICK PREVIEW
企業対超知能企業は超知能に関連する類例である、と示唆されることがある。単に連続体の誤謬に陥ることなくこの類推を評価するには、高度なエージェントの性質の標準的な一覧にある具体的なしきい値のうち、どれが企業に完全な形で当てはまると妥当に言えるかを検討する必要がある。すると、おおよそ次のような像が得られる。 企業は…
Enterで日本語訳を開くCorrelated coverage
ある領域で「相関的網羅性」が生じるとは――「有能」や「正しい」のような言葉を避けるため、かなり回りくどく言えば――、ある高度なエージェントが、その領域の多数の問題を私たちの望む仕方で扱うなら、AIが領域内のすべての問題を私たちの望む仕方で扱う可能性が高いことである。 相関的網羅と非相関的網羅の違い…
QUICK PREVIEW
相関的網羅性ある領域で「相関的網羅性」が生じるとは――「有能」や「正しい」のような言葉を避けるため、かなり回りくどく言えば――、ある高度なエージェントが、その領域の多数の問題を私たちの望む仕方で扱うなら、AIが領域内のすべての問題を私たちの望む仕方で扱う可能性が高いことである。 相関的網羅と非相関的網羅の違い…
Enterで日本語訳を開くCosmopolitan value
「コスモポリタン」は、字義どおりには「宇宙という都市の者」であり、他者（ほかの存在）や、最初は私たちに奇妙に見えるかもしれない生き方に寛容な、非常に広く包容的な立場を直観的に意味する。狭く偏狭で局所的な自分たちの立場から踏み出し、より広い立場を取ろうとすることである。 意志的メタ倫理の観点からは、…
QUICK PREVIEW
コスモポリタンな価値「コスモポリタン」は、字義どおりには「宇宙という都市の者」であり、他者（ほかの存在）や、最初は私たちに奇妙に見えるかもしれない生き方に寛容な、非常に広く包容的な立場を直観的に意味する。狭く偏狭で局所的な自分たちの立場から踏み出し、より広い立場を取ろうとすることである。 意志的メタ倫理の観点からは、…
Enterで日本語訳を開くDifficulty of AI alignment
このページは、真であるなら、 十分に高度な人工知能から良い結果を得る課題を最終的に難しくする原因となる、コンピュータ科学の基本命題を列挙しようとする。 「難しさ」 これらの命題が真なら「難しさ」を含意するように見えると言うとき、問題が解決不能だと示唆するつもりはない。「難しさ」のありうる段階は次の…
QUICK PREVIEW
AIアラインメントの難しさこのページは、真であるなら、 十分に高度な人工知能から良い結果を得る課題を最終的に難しくする原因となる、コンピュータ科学の基本命題を列挙しようとする。 「難しさ」 これらの命題が真なら「難しさ」を含意するように見えると言うとき、問題が解決不能だと示唆するつもりはない。「難しさ」のありうる段階は次の…
Enterで日本語訳を開くDirecting, vs. limiting, vs. opposing
「方向づけ」「制限」「対抗」の区別は、 良い 結果を得て、 悪い 結果を避ける3通りの方法を区別するため提案された概念である。 十分に高度な人工知能を稼働させる場合を考える。 方向づけ とは、AGIがある領域で正しいことをしたいと思うことである。 制限 とは、アラインされていない場所ではAGIが思…
QUICK PREVIEW
方向づけ・制限・対抗「方向づけ」「制限」「対抗」の区別は、 良い 結果を得て、 悪い 結果を避ける3通りの方法を区別するため提案された概念である。 十分に高度な人工知能を稼働させる場合を考える。 方向づけ とは、AGIがある領域で正しいことをしたいと思うことである。 制限 とは、アラインされていない場所ではAGIが思…
Enterで日本語訳を開くDistances between cognitive domains
この AIアラインメントの文脈では、二つの異なる 認知領域における能力が、それらについて推論するアルゴリズムのクラスに対して、どの程度分離可能なのか、あるいは逆に強く絡み合っているのかが、非常に重要になりうる。 XとYを「別々の領域」と呼ぶことは、少なくとも「Yについて知る必要なしにXについて上手…
QUICK PREVIEW
認知領域間の距離この AIアラインメントの文脈では、二つの異なる 認知領域における能力が、それらについて推論するアルゴリズムのクラスに対して、どの程度分離可能なのか、あるいは逆に強く絡み合っているのかが、非常に重要になりうる。 XとYを「別々の領域」と呼ぶことは、少なくとも「Yについて知る必要なしにXについて上手…
Enterで日本語訳を開くDistinguish which advanced-agent properties lead to the foreseeable difficulty
良い思考の大きな体系を作る一般的なプロジェクトは、考えをモジュール的な部分へ分解し、前提と結論を区別し、どの推論段階を使っているか明瞭にラベル付けすべきである。これを AIアラインメント理論へ適用すると、AIの潜在的に難しい、または危険な将来の振る舞いを提案するなら、どの特定種類の高度性または認知…
QUICK PREVIEW
どの高度エージェント性質が予見可能な難しさを生むかを区別する良い思考の大きな体系を作る一般的なプロジェクトは、考えをモジュール的な部分へ分解し、前提と結論を区別し、どの推論段階を使っているか明瞭にラベル付けすべきである。これを AIアラインメント理論へ適用すると、AIの潜在的に難しい、または危険な将来の振る舞いを提案するなら、どの特定種類の高度性または認知…
Enterで日本語訳を開くEffability principle
提案されている原則であり、AIアラインメントについて「AIの認知操作の深層構造について洞察を得れば得るほど、そのAIのアラインメントに成功する可能性が高まる」と述べる。 明示可能性が高まる例として、AIを構築する際に期待効用という考えを知っている場合と、期待効用について一度も聞いたことがない場合と…
QUICK PREVIEW
明示可能性原則提案されている原則であり、AIアラインメントについて「AIの認知操作の深層構造について洞察を得れば得るほど、そのAIのアラインメントに成功する可能性が高まる」と述べる。 明示可能性が高まる例として、AIを構築する際に期待効用という考えを知っている場合と、期待効用について一度も聞いたことがない場合と…
Enterで日本語訳を開くEnvironmental goals
標準的なエージェント・パラダイムでは、エージェントは世界から感覚データを受け取り、世界に影響を及ぼす運動行為を出力する。標準的な機械学習パラダイムでは、エージェント――たとえばモデルベース強化学習エージェント――は感覚知覚に直接依存する仕方で訓練される。これは、その振る舞いがある意味で感覚知覚を中…
QUICK PREVIEW
環境内の目標標準的なエージェント・パラダイムでは、エージェントは世界から感覚データを受け取り、世界に影響を及ぼす運動行為を出力する。標準的な機械学習パラダイムでは、エージェント――たとえばモデルベース強化学習エージェント――は感覚知覚に直接依存する仕方で訓練される。これは、その振る舞いがある意味で感覚知覚を中…
Enterで日本語訳を開くEpistemic exclusion
「認識論的排除」とは、AIに物理的または数学的現実の特定部分をモデル化させない（反省的に安定しているなら、モデル化したいとも思わせない）、あるいは可能な限り高い予測精度を許さない、何らかの制限されたモデル・クラスだけを使ってモデル化させる、仮説的なAI制限の形態である。たとえば、 行動主義的ジーニ…
QUICK PREVIEW
認識論的排除「認識論的排除」とは、AIに物理的または数学的現実の特定部分をモデル化させない（反省的に安定しているなら、モデル化したいとも思わせない）、あるいは可能な限り高い予測精度を許さない、何らかの制限されたモデル・クラスだけを使ってモデル化させる、仮説的なAI制限の形態である。たとえば、 行動主義的ジーニ…
Enterで日本語訳を開くFlag the load-bearing premises
誰かが「Xがうまくいかないので、あなたのAI安全策にはひどい欠陥があると思う」と言い、あなたが「いや、YとZがあるからXは大丈夫だ」と答えるなら、YとZが重要な命題であることを明示するのが良い実践である。とりわけ多くの人がYとZを自明でない、またはおそらく偽だと考えるなら、YとZそのものを議論する…
QUICK PREVIEW
結論を支える前提に印をつけよ誰かが「Xがうまくいかないので、あなたのAI安全策にはひどい欠陥があると思う」と言い、あなたが「いや、YとZがあるからXは大丈夫だ」と答えるなら、YとZが重要な命題であることを明示するのが良い実践である。とりわけ多くの人がYとZを自明でない、またはおそらく偽だと考えるなら、YとZそのものを議論する…
Enterで日本語訳を開くFriendly AI
「友好的AI（Friendly AI）」または「FAI」は、 Yudkowskyが、ある 高度なAIが人間的価値の何らかの アラインメントを達成し、その価値の 理想化された版、たとえば 外挿された意志と一致することを意味するために考案した古い用語である。現在の用法では、Yudkowskyが当初思い…
QUICK PREVIEW
友好的AI（Friendly AI）「友好的AI（Friendly AI）」または「FAI」は、 Yudkowskyが、ある 高度なAIが人間的価値の何らかの アラインメントを達成し、その価値の 理想化された版、たとえば 外挿された意志と一致することを意味するために考案した古い用語である。現在の用法では、Yudkowskyが当初思い…
Enterで日本語訳を開くGeneralized principle of cognitive alignment
非敵対的原則を一般化すると、あるアラインメントまたは安全上の問題についてAIアルゴリズムにどのように実行してほしいかを問うときはいつでも、私たち自身がその問題をどう考えているか、そしてAIに共役的な思考をさせられるかを問える、という原則になる。これは時に、より単純な道筋よりはるかに複雑または危険に…
QUICK PREVIEW
一般化された認知的アラインメント原則非敵対的原則を一般化すると、あるアラインメントまたは安全上の問題についてAIアルゴリズムにどのように実行してほしいかを問うときはいつでも、私たち自身がその問題をどう考えているか、そしてAIに共役的な思考をさせられるかを問える、という原則になる。これは時に、より単純な道筋よりはるかに複雑または危険に…
Enterで日本語訳を開くGoal-concept identification
「イチゴを一つ渡せ。ただし、偽物のプラスチック製イチゴはだめだ」といった 意図された目標の 概念を、AGIへどう伝えるかを解明しようとする問題である。 この水準の問題では、たとえばイチゴを得るために人を襲わないことなど、より大きな 安全な計画の同定の問題や、 副作用の最小化は扱わない。（この水準の…
QUICK PREVIEW
目標概念の同定「イチゴを一つ渡せ。ただし、偽物のプラスチック製イチゴはだめだ」といった 意図された目標の 概念を、AGIへどう伝えるかを解明しようとする問題である。 この水準の問題では、たとえばイチゴを得るために人を襲わないことなど、より大きな 安全な計画の同定の問題や、 副作用の最小化は扱わない。（この水準の…
Enterで日本語訳を開くHumean degree of freedom
認知システムにおけるある量、ラベル、概念が、効用関数またはより一般化された選好の選択に依存するとき、「ヒューム的自由度」が現れる。たとえば「世界への重大な影響」という概念は、どの変数の変化がシステムの関心事へ影響するかに依存する。したがってAIに「この行動がもたらす重大な影響をすべて教えよ」と命じ…
QUICK PREVIEW
ヒューム的自由度認知システムにおけるある量、ラベル、概念が、効用関数またはより一般化された選好の選択に依存するとき、「ヒューム的自由度」が現れる。たとえば「世界への重大な影響」という概念は、どの変数の変化がシステムの関心事へ影響するかに依存する。したがってAIに「この行動がもたらす重大な影響をすべて教えよ」と命じ…
Enterで日本語訳を開くHypercomputer
「ハイパーコンピュータ」とは、どれほど巨大でも有限なコンピュータの極限では答えられない、明確に定まった問いへ答えるために必要となる架空の人工物である。たとえば、 停止問題の一般解に依存する問いがあるなら、その問題を解くには「ハイパーコンピュータ」、特にレベル1停止オラクルが必要だという。（レベル1…
QUICK PREVIEW
ハイパーコンピュータ「ハイパーコンピュータ」とは、どれほど巨大でも有限なコンピュータの極限では答えられない、明確に定まった問いへ答えるために必要となる架空の人工物である。たとえば、 停止問題の一般解に依存する問いがあるなら、その問題を解くには「ハイパーコンピュータ」、特にレベル1停止オラクルが必要だという。（レベル1…
Enterで日本語訳を開くIdeal target
ある メタ効用関数 が、基底水準の効用関数 が異なる可能世界で異なる値を取るかのように振る舞うとき、その「理想的標的」は、現実世界における の値、またはアクセス可能なすべての証拠で更新した後の の期待値である。空が青い世界でチョコレートの効用が8ユーロ、空が青くない世界で5ユーロなら、AIの「理想…
QUICK PREVIEW
理想的標的ある メタ効用関数 が、基底水準の効用関数 が異なる可能世界で異なる値を取るかのように振る舞うとき、その「理想的標的」は、現実世界における の値、またはアクセス可能なすべての証拠で更新した後の の期待値である。空が青い世界でチョコレートの効用が8ユーロ、空が青くない世界で5ユーロなら、AIの「理想…
Enterで日本語訳を開くImitation-based agent
模倣ベースの 高度なエージェント （または 擬似エージェント）とは、標準的エージェントのような「観察・予測・行動」でなく、「参照人間が行うことに可能な限り近い振る舞いを出力する」を中心ループとするAIである。中心的な考えは、（a）これは今日の教師あり学習パラダイムで定義するのがはるかに容易な振る舞…
QUICK PREVIEW
模倣ベースのエージェント模倣ベースの 高度なエージェント （または 擬似エージェント）とは、標準的エージェントのような「観察・予測・行動」でなく、「参照人間が行うことに可能な限り近い振る舞いを出力する」を中心ループとするAIである。中心的な考えは、（a）これは今日の教師あり学習パラダイムで定義するのがはるかに容易な振る舞…
Enterで日本語訳を開くMeta-utility function
「メタ効用関数」は、複数の単純な効用関数をより複雑な構造へ合成して構築する選好枠組みである。その目的は、たとえば、スイッチが押されたかどうかに応じて異なる効用関数を最適化する エージェント、または何らかの理想的な対象について有益なデータを観察して「正しい」効用関数を学ぶエージェントを記述することか…
QUICK PREVIEW
メタ効用関数「メタ効用関数」は、複数の単純な効用関数をより複雑な構造へ合成して構築する選好枠組みである。その目的は、たとえば、スイッチが押されたかどうかに応じて異なる効用関数を最適化する エージェント、または何らかの理想的な対象について有益なデータを観察して「正しい」効用関数を学ぶエージェントを記述することか…
Enterで日本語訳を開くMind design space is wide
可能な心の設計からなる巨大な空間を想像してほしい。その中では、これまで生きた人間全員が一つの小さな点に収まる。私たちは皆、同じ大脳皮質、小脳、視床などを持つ。「人工知能」を、川向こうに住む風変わりな部族のようなものとして思い描き、この異国の部族にはどんな奇妙な慣習があるのかと問いたくなる傾向がある…
QUICK PREVIEW
心の設計空間は広大である可能な心の設計からなる巨大な空間を想像してほしい。その中では、これまで生きた人間全員が一つの小さな点に収まる。私たちは皆、同じ大脳皮質、小脳、視床などを持つ。「人工知能」を、川向こうに住む風変わりな部族のようなものとして思い描き、この異国の部族にはどんな奇妙な慣習があるのかと問いたくなる傾向がある…
Enterで日本語訳を開くMoral hazards in AGI development
「モラルハザード」とは、高度なAGIの指揮者が、自らを神皇帝だと宣言するなど、残る私たちが「悪い」とみなす方法でAGIを指揮する誘惑に屈することである。人間のプログラマーが権力の誘惑へさらされる期間を制限することは、最終的には 人間が指揮せず、内部的に主権を持つ AGI を望む理由の一つである。…
QUICK PREVIEW
AGI開発におけるモラルハザード「モラルハザード」とは、高度なAGIの指揮者が、自らを神皇帝だと宣言するなど、残る私たちが「悪い」とみなす方法でAGIを指揮する誘惑に屈することである。人間のプログラマーが権力の誘惑へさらされる期間を制限することは、最終的には 人間が指揮せず、内部的に主権を持つ AGI を望む理由の一つである。…
Enterで日本語訳を開くNiceness is the first line of defense
どのような十分に高度な 汎用人工知能を構築する場合でも、第一の防衛線は、あなたを傷つけることを望まないAIを作ることである。AIを箱に閉じ込めることや、AIがインターネットへアクセスするのを防ぐことなど、他の措置はすべて、この第一の防衛線が破られた場合の最後の備えにすぎないと考えるべきである。AG…
QUICK PREVIEW
善良さは第一の防衛線であるどのような十分に高度な 汎用人工知能を構築する場合でも、第一の防衛線は、あなたを傷つけることを望まないAIを作ることである。AIを箱に閉じ込めることや、AIがインターネットへアクセスするのを防ぐことなど、他の措置はすべて、この第一の防衛線が破られた場合の最後の備えにすぎないと考えるべきである。AG…
Enterで日本語訳を開くOmega (alien philosopher-troll)
伝統的に、「オメガ」は、人間を奇妙なジレンマへ放り込んで回る異星の哲学者トロールの標準的な名前である。トロッコの線路に5人が縛られているのを見かけたら、縛ったのはおそらくオメガである。オメガは途方もない物理的能力と、人間の行動を信じがたいほど正確に予測する能力を持ち、その動機はかなり不可解である。…
QUICK PREVIEW
オメガ：異星の哲学者トロール伝統的に、「オメガ」は、人間を奇妙なジレンマへ放り込んで回る異星の哲学者トロールの標準的な名前である。トロッコの線路に5人が縛られているのを見かけたら、縛ったのはおそらくオメガである。オメガは途方もない物理的能力と、人間の行動を信じがたいほど正確に予測する能力を持ち、その動機はかなり不可解である。…
Enterで日本語訳を開くOther-izing (wanted: new optimization idiom)
未解決の「other-izer」問題とは、最大化、充足化、改善化、および既存だが満足できない他のいくつかのイディオムとは別に、 有界エージェント の最適化イディオムとして実際に適し、かつ 反省的に安定した何かを見つける問題である。 標準的な理論では、エージェントを、常に利用可能な選択肢のうち期待効…
QUICK PREVIEW
「other-izing」――新たな最適化イディオムを求む未解決の「other-izer」問題とは、最大化、充足化、改善化、および既存だが満足できない他のいくつかのイディオムとは別に、 有界エージェント の最適化イディオムとして実際に適し、かつ 反省的に安定した何かを見つける問題である。 標準的な理論では、エージェントを、常に利用可能な選択肢のうち期待効…
Enterで日本語訳を開くPrinciples in AI alignment
「AIアラインメント 」における「原則」とは、AI全体について広い意味で望むものであり、AIの特定部分または側面についての、より狭い設計提案へ情報を与えてきたものを指す。 たとえば、 「非敵対原則 」は、私たちの安全措置を破る方法や、私たちが望まない別のことをする方法を、AIが決して探索すべきでな…
QUICK PREVIEW
AIアラインメントにおける原則「AIアラインメント 」における「原則」とは、AI全体について広い意味で望むものであり、AIの特定部分または側面についての、より狭い設計提案へ情報を与えてきたものを指す。 たとえば、 「非敵対原則 」は、私たちの安全措置を破る方法や、私たちが望まない別のことをする方法を、AIが決して探索すべきでな…
Enterで日本語訳を開くRandom utility function
「ランダム効用関数」とは、効用関数の形式的で簡潔な仕様からなる論理空間上の、何らかの単純な確率測度に従って選ばれた効用関数である。 例として、効用関数がコンピュータ・プログラム（たとえば、結果の記述を有理数へ写像するプログラム）によって指定されるとしよう。次に、コンピュータ・プログラム上の標準的な…
QUICK PREVIEW
ランダム効用関数「ランダム効用関数」とは、効用関数の形式的で簡潔な仕様からなる論理空間上の、何らかの単純な確率測度に従って選ばれた効用関数である。 例として、効用関数がコンピュータ・プログラム（たとえば、結果の記述を有理数へ写像するプログラム）によって指定されるとしよう。次に、コンピュータ・プログラム上の標準的な…
Enterで日本語訳を開くReflective consistency
意思決定システムが、同様の意思決定システムの構築を承認できるなら「反省的に整合している」。たとえば、期待効用充足化器（空行動を取るか、期待効用が を上回る行動を取る）があるとする。このエージェントは、同じく何も行動しないか、期待効用が を上回る計画を承認する別のどんな設計へも自己改変できる。充足化…
QUICK PREVIEW
反省的整合性意思決定システムが、同様の意思決定システムの構築を承認できるなら「反省的に整合している」。たとえば、期待効用充足化器（空行動を取るか、期待効用が を上回る行動を取る）があるとする。このエージェントは、同じく何も行動しないか、期待効用が を上回る計画を承認する別のどんな設計へも自己改変できる。充足化…
Enterで日本語訳を開くReflectively consistent degree of freedom
「反省的に整合した自由度」とは、自己改変AIが複数の可能な性質 を持てるときに生じる。そこでは、性質 を持つAIは、性質 を持つAIのままでいたいと望み、 を持つAIは、他の条件が等しければ、同じく である設計への自己改変だけを選ぶ、といった具合である。 反省的に整合した自由度の典型は、 ヒューム…
QUICK PREVIEW
反省的に整合した自由度「反省的に整合した自由度」とは、自己改変AIが複数の可能な性質 を持てるときに生じる。そこでは、性質 を持つAIは、性質 を持つAIのままでいたいと望み、 を持つAIは、他の条件が等しければ、同じく である設計への自己改変だけを選ぶ、といった具合である。 反省的に整合した自由度の典型は、 ヒューム…
Enterで日本語訳を開くSafe plan identification and verification
安全な計画の同定とは、タスクAGIに訓練事例、回答済みの質問、抽象的な指示などをどのように与えれば、（a）AGIがそれによってタスクが達成された結果を同定でき、（b）悪い副作用を伴わず、そのような結果のいずれかへ到達する問題のない計画をAGIが生成でき、（c）利用者が一連の追加質問または利用者への…
QUICK PREVIEW
安全な計画の同定と検証安全な計画の同定とは、タスクAGIに訓練事例、回答済みの質問、抽象的な指示などをどのように与えれば、（a）AGIがそれによってタスクが達成された結果を同定でき、（b）悪い副作用を伴わず、そのような結果のいずれかへ到達する問題のない計画をAGIが生成でき、（c）利用者が一連の追加質問または利用者への…
Enterで日本語訳を開くStrategic AGI typology
以下は、 高度なエージェント の種類を、異なる 戦略的シナリオ に対応するほど広い分類で並べた一覧である。異なることができ、異なる状況でしか構築できず、または特定の背景仮定のもとでだけ望ましいAIを区別する。この類型論は網羅的であることを意図しない。 自律型AGI 魔人 Oracle 既知アルゴリ…
QUICK PREVIEW
戦略的AGI類型論以下は、 高度なエージェント の種類を、異なる 戦略的シナリオ に対応するほど広い分類で並べた一覧である。異なることができ、異なる状況でしか構築できず、または特定の背景仮定のもとでだけ望ましいAIを区別する。この類型論は網羅的であることを意図しない。 自律型AGI 魔人 Oracle 既知アルゴリ…
Enterで日本語訳を開くSufficiently advanced Artificial Intelligence
「十分に高度な人工知能」とは、ロボット自動車とは質的に異なる方法で考える必要があるほど大きな能力を持つ認知的な エージェント または認知アルゴリズムである。すなわち、 AIアラインメント理論 を適用し始める必要があるほど賢い機械知能である。たとえば、AIが（a）自分に停止スイッチがあり、（b） 停…
QUICK PREVIEW
十分に高度な人工知能「十分に高度な人工知能」とは、ロボット自動車とは質的に異なる方法で考える必要があるほど大きな能力を持つ認知的な エージェント または認知アルゴリズムである。すなわち、 AIアラインメント理論 を適用し始める必要があるほど賢い機械知能である。たとえば、AIが（a）自分に停止スイッチがあり、（b） 停…
Enterで日本語訳を開くTask identification problem
「タスク指向AGI（魔人） 」を構築する部分問題の一つは、次のタスクをAGIへ伝え、どの結果をタスクの達成とみなすかを同定することである。上位問題は、 安全な計画の同定と検証を参照。これは主に通信の問題であるように見える。たとえば、AGIが 行動主義的な魔人であることに伴う追加制約があるかもしれな…
QUICK PREVIEW
タスク同定問題「タスク指向AGI（魔人） 」を構築する部分問題の一つは、次のタスクをAGIへ伝え、どの結果をタスクの達成とみなすかを同定することである。上位問題は、 安全な計画の同定と検証を参照。これは主に通信の問題であるように見える。たとえば、AGIが 行動主義的な魔人であることに伴う追加制約があるかもしれな…
Enterで日本語訳を開くThe AI must tolerate your safety measures
非敵対的原則から得られる系がある。 十分に高度な人工知能に対して提案されるあらゆる種類の安全措置について、私たちは直ちに、その安全措置によって人間のプログラマと構築中のエージェントとの間に 敵対的な状況 が生じることをどう避けるか、と問うべきである。 認知アラインメントの一般原則 から得られるさら…
QUICK PREVIEW
AIは安全措置を容認しなければならない非敵対的原則から得られる系がある。 十分に高度な人工知能に対して提案されるあらゆる種類の安全措置について、私たちは直ちに、その安全措置によって人間のプログラマと構築中のエージェントとの間に 敵対的な状況 が生じることをどう避けるか、と問うべきである。 認知アラインメントの一般原則 から得られるさら…
Enterで日本語訳を開くTheory of (advanced) agents
AIアラインメントの多くの論点は、認知的に強力なエージェントの一般的な設計空間について事実として何を言えると考えるか、またはどの背景仮定から高度なエージェントについてどの含意が得られるかに依存する。たとえば、 直交性テーゼ は、強力なAIの一般的設計空間についての主張である。高度なエージェントの設…
QUICK PREVIEW
高度なエージェントの理論AIアラインメントの多くの論点は、認知的に強力なエージェントの一般的な設計空間について事実として何を言えると考えるか、またはどの背景仮定から高度なエージェントについてどの含意が得られるかに依存する。たとえば、 直交性テーゼ は、強力なAIの一般的設計空間についての主張である。高度なエージェントの設…
Enterで日本語訳を開くTiling agents theory
平面を敷き詰めるタイルの反復のように、自分自身と非常によく似た後継を構築する自己改変エージェントの理論である。この論文またはこのGoogle検索を参照。
QUICK PREVIEW
タイリング・エージェント理論平面を敷き詰めるタイルの反復のように、自分自身と非常によく似た後継を構築する自己改変エージェントの理論である。この論文またはこのGoogle検索を参照。
Enterで日本語訳を開くTotal alignment
高度なエージェントが、十分に記述された結果の正確な 価値、したがって行為、方策、計画の正確な主観的価値を評価できるとき、そのエージェントは「完全にアラインされている」と言える。ここで価値は、「私たちが世界で実際に価値づけるもの、または実際に価値づけるべきもの、もしくは人工知能に望むものが何であれ、…
QUICK PREVIEW
完全なアラインメント高度なエージェントが、十分に記述された結果の正確な 価値、したがって行為、方策、計画の正確な主観的価値を評価できるとき、そのエージェントは「完全にアラインされている」と言える。ここで価値は、「私たちが世界で実際に価値づけるもの、または実際に価値づけるべきもの、もしくは人工知能に望むものが何であれ、…
Enterで日本語訳を開くUnphysically large finite computer
物理的にありえないほど巨大な有限コンピュータとは、物理法則の 性質 が現在の見え方に少しでも近いなら、この宇宙へ収まりうるどんなものよりもはるかに巨大なコンピュータである。 工夫すれば、この宇宙からgoogol（）回の計算を取り出せるかもしれない。しかし、 回の計算には陽子崩壊と熱力学第二法則をし…
QUICK PREVIEW
物理的にありえないほど巨大な有限コンピュータ物理的にありえないほど巨大な有限コンピュータとは、物理法則の 性質 が現在の見え方に少しでも近いなら、この宇宙へ収まりうるどんなものよりもはるかに巨大なコンピュータである。 工夫すれば、この宇宙からgoogol（）回の計算を取り出せるかもしれない。しかし、 回の計算には陽子崩壊と熱力学第二法則をし…
Enterで日本語訳を開くValue identification problem
これは 価値アラインメントの部分問題の一分野であり、 価値ある結果を 高度なエージェントに正確に指し示し、価値のない結果から区別することを扱う。たとえば、 端的実現問題と オントロジー同定問題は、価値同定における 予見可能な困難であると論じられている。価値同定において予見される中心的な困難は、 価…
QUICK PREVIEW
価値同定問題これは 価値アラインメントの部分問題の一分野であり、 価値ある結果を 高度なエージェントに正確に指し示し、価値のない結果から区別することを扱う。たとえば、 端的実現問題と オントロジー同定問題は、価値同定における 予見可能な困難であると論じられている。価値同定において予見される中心的な困難は、 価…
Enterで日本語訳を開くYou can't get the coffee if you're dead
「死んでいてはコーヒーを取ってこられない」は、ほぼあらゆるエージェント目標が、生存する／停止されないという道具的戦略を含意する理由を示す、Stuart Russellの簡潔な説明である。ただしこれは既定の場合であり、そうなるのを防ぐほかの措置がないものとする。また、エージェントが、エージェント自身…
QUICK PREVIEW
死んでいてはコーヒーを取ってこられない「死んでいてはコーヒーを取ってこられない」は、ほぼあらゆるエージェント目標が、生存する／停止されないという道具的戦略を含意する理由を示す、Stuart Russellの簡潔な説明である。ただしこれは既定の場合であり、そうなるのを防ぐほかの措置がないものとする。また、エージェントが、エージェント自身…
Enterで日本語訳を開く語句を短くするか、英語の原題でも試してください。