最も影響の大きいパラメータはどれか?

本モデルには多数のパラメータがある。実証データにしっかり裏付けられたものもあるが、不確実性がより大きく、推定に「判断的予測」(言い換えれば「当て推量」)を要するものもある。この節では、モデルの主要な結果が各パラメータにどれほど敏感かを調べる。

一度に1つずつの感度分析: ACまでのタイムラインとACからASIへのテイクオフ

すべてのパラメータを我々の推定の中央値に設定した状態から出発し、1つずつ10パーセンタイルの推定値と90パーセンタイルの推定値に変えて、タイムラインとテイクオフ速度がどう変わるかをプロットする。こうした変更で生じる「幅」の大きさは、結果に関する我々の不確実性のうち、どれだけが各パラメータについての不確実性に由来するかを示す簡便な指標となる。

ACまでの時間に影響する最も重要なパラメータは次のとおりである:

1. 倍加難度の成長因子
2. タイムホライズンの現在の倍加時間
3. ACに必要なタイムホライズン

最初の2つのパラメータは合わせて、log(実効計算量)からAIのタイムホライズンへの写像を決める。倍加の難しさのパラメータは、この写像がどれほど急峻に超指数関数的または劣指数関数的になるかを制御し、現在の倍加時間はタイムホライズンの初期の成長率を与える。これらが重要なのは直感的にも頷ける。現在タイムホライズンを倍加させるのがどれほど難しいか、そしてその難しさが今後どう変わるかを教えてくれるからである。とくに、倍加難度の成長因子dをわずかに変えるだけでも大きな違いが生じうる。多数回の倍加を経た後の倍加時間を求める際には、dのべき乗をとるからである。

ACに必要なタイムホライズンが大きな影響を持つはずだというのも直感的に理解できる。すべてのコーディングを自動化するのに100人年のタイムホライズンが必要なら、6か月のタイムホライズンで済む場合よりも時間がかかるだろう。

グラフに示したその他のパラメータは、実効計算量の増加がAIソフトウェアR&D加速倍率へどう変換されるかに影響する。感度分析によれば、これらはACタイムラインにとって、上で論じた3つのパラメータほど重要ではない。これは理にかなっている。ACに到達する前は、コーディングはAIがまだこなせないタスクがボトルネックになる。そしてAIの研究センスは、良い実験を選ぶうえで大きな違いを生むほどにはまだ優れていない。

次に、テイクオフ速度がどのパラメータに最も敏感かを見てみよう。

最も重要なパラメータは次のとおりである:

1. 実効計算量の増加に伴ってAIの研究センスがどれだけ速く向上するかを決めるパラメータ、すなわち自動化された研究センスの傾きと、中央値からトップまでの研究センスの倍率。ソフトウェア知能爆発を論じる際には、実効計算量の増加に伴ってAIの研究センスがどれだけ速く向上するかをmと呼ぶ。mは主にこの2つのパラメータの関数である。
2. 2024年のソフトウェア効率の成長率。これは(実験の)アイデアがだんだん見つけにくくなる速さに影響する。上述のmとともに、このパラメータはソフトウェア知能爆発がどの程度起きるかに大きな影響を与える。議論はこちらを参照。
3. TED-AIに到達するのに必要な、SARを上回る「中央値からトップ人間まで」のジャンプ数: これは、どの水準の研究センス能力でASIが達成されるかを決めるため、ACからASIまでの所要時間に非常に直接的に影響する。
4. 実験スループットにおける計算資源のボトルネックの度合いを制御するパラメータ (コーディング労働無限大での漸近値と、実験用計算資源が10分の1になった場合の減速)。最も重要なパラメータ、すなわち上に挙げたものが、コーディングではなく研究センスに関わるものなのは、コーディングが実験用計算資源でボトルネックになるからである。とはいえ、コーディングの自動化もテイクオフにとってやはり重要である。実験スループットのCES関数を制御するパラメータ、特に計算資源のボトルネックの度合いを制御するパラメータが、大きな影響を持つことがわかる。

タイムラインとテイクオフの相関

自動化コーダー(AC)のマイルストーンまでのタイムラインが短いほど、テイクオフが速くなるという相関が見られる。このグラフは、「速い」テイクオフ(1年未満のもの)の経験的確率が、ACの到来年ごとにどう変わるかを示している。

たとえば、ACからASIへの移行が1年で起きる確率は、ACが2027年に来る場合は42%だが、2035年に来る場合は16%にすぎない。ACまでのタイムラインが短いほどテイクオフが速くなるのはなぜだろうか。

このパターンを生み出している要因としては、2つの可能性がある。1つは、本モデルのモンテカルロ・シミュレーションが、一部のパラメータについて相関のあるサンプルを抽出していることである。

もう1つの可能性は、モデルに内在するダイナミクスから来るものである。この要因だけを切り出すため、パラメータ値の間の相関をすべて取り除いたうえで、ACの到来年ごとに1年でのテイクオフの確率をプロットした。

相関は依然として有意だが、パラメータ値の間の相関を含めた場合よりは低いことがわかる。この変化は主に、タイムラインが短いシナリオから生じているようだ。

モデルのダイナミクスだけでもタイムラインとテイクオフ速度の間にかなりの相関があるので、まずその原因を探ってみよう。そのためには、パラメータごとに、タイムラインとテイクオフ速度のそれぞれがそのパラメータにどれだけ敏感かをプロットしたい。両方と同じ方向に相関しているパラメータが、タイムラインとテイクオフの相関を生み出しているパラメータである。また、各パラメータが結果変数に与える影響を1つの要約統計量で表す必要もある。これにはスピアマンの相関係数を使う。これは、パラメータ値の順位と結果の順位がどれだけよく相関しているかを測るものである。

下は散布図で、各点が1つのパラメータを表す。x軸はそのパラメータとACからASIまでのテイクオフ期間とのスピアマン相関、y軸はACの到来時期とのスピアマン相関である。

タイムラインとテイクオフ速度の両方と同じ方向に最も強く相関しているパラメータは、次のものであるようだ。

1. 2024年のソフトウェア効率の成長率: 最近の進歩のうち、訓練計算量のスケーリングではなくソフトウェア効率から来る部分の割合が大きいほど、自動化の影響は大きくなり(タイムラインが短くなる)、さらに訓練計算量の伸びの鈍化の影響は小さくなる。たとえば、現在のソフトウェアの進歩の割合がわずか1%なら、ソフトウェアの進歩を10倍に速めても、その割合が50%の場合に比べて影響は小さい。このパラメータは、AC以前の自動化の水準を通じてタイムラインに影響し、同じメカニズムをAC以後の自動化について働かせることでテイクオフ速度に影響する。
2. 計算資源が10分の1になった場合の減速: 値が大きいほど、実験スループット、ひいては研究努力が実験用計算資源でボトルネックになりやすく、タイムラインは長く、テイクオフは遅くなる。テイクオフは主に研究センスによって駆動されるが、コーディングも大きな影響を持ちうる。そしてこのパラメータが大きければ、コーディングが大きな役割を果たす可能性は低くなる。
3. コーディング労働無限大での漸近値: このパラメータは、計算資源が10分の1になった場合の減速と似た振る舞いをするが、相関の向きは逆で、相関が生じる要因は同じである。漸近値が高ければ、コーディングの自動化がAC以前とAC以後の両方の自動化に寄与する余地が大きくなる。
4. AC時点の自動化された研究センス: これが高いほど、ACのAIソフトウェアR&D加速倍率は高くなる(ACの研究センスがより優れているため)。つまり、AC以前の自動化がACまでのタイムラインに与える影響が大きくなる。またこれは、AC以後のテイクオフがより高い加速倍率から始まることも意味し、テイクオフが速くなる。

また、上のパラメータはどれもAC以前とAC以後の両方の自動化に影響するが、いずれもタイムラインよりテイクオフに少なくとも少しは大きく影響していることもわかる。これは、ほとんどのシミュレーションでは、AC以前の自動化の効果がそれほど大きくないためである。

次に、パラメータ間の相関を戻して加えた場合に、これらの影響がどう変わるかを見ていこう。

今度は、タイムラインとテイクオフ速度のそれぞれと同じ方向に最も強く相関する3つのパラメータのクラスターが現れる。自動化された研究センスの傾き、倍加難度の成長因子、現在の倍加時間である。この3つは、パラメータ間の相関を除外した場合にも、すでに短いタイムラインか速いテイクオフのどちらかと強く結びついていた。我々の予測では、研究センスの傾きを倍加難度の成長因子と現在の倍加時間の両方と負に相関させた。3つとも、実効計算量の増加がどれだけの速さで能力に転換されるかの尺度だからである。これらのパラメータ間の相関が、タイムラインとテイクオフの相関を生む大きな要因となっている。

これらが最も大きな変化である。ほかにもタイムラインとテイクオフのそれぞれとの相関が大きくなったパラメータはあるが、上で論じた3つが、かなりの差をつけて最大である。

タイムホライズンの軌道

以下は、すべてのタイムホライズン軌道を、平均二乗誤差(MSE)でMETRのデータ点をどれだけよくバックキャスト(過去の値を再現)できているかによって色分けしたものである。我々はこの種のバックキャストを重要な作業と考えているが、手元のデータがきわめて限られていることを踏まえると、これですべてが決まるわけではない。こうした分析をもっと行うよう促してくれた、前回のモデルに対するtitotal氏のレビューに感謝する。

絞り込んだ軌道(MSE ≤ 1.0)

以下は、バックキャストの精度で見ておおよそ上位3分の1の軌道である。バックキャストの精度が高い軌道ほど、より早くより長いタイムホライズンに達する傾向がある。