Blink of an eye: a simple theory for feature localization in generative models

要約

大きな言語モデルは、瞬く間に予期しない動作を示すことができます。
最近のコンピューター使用デモでは、コーディングからイエローストーンのグーグル写真に切り替えられた言語モデルであり、これらの突然の行動の変化は、推論パターンと脱獄でも観察されています。
この現象は、自己回帰モデルに固有のものではありません。拡散モデルでは、生成プロセスの狭い「重要なウィンドウ」で最終出力の主要な特徴が決定されます。
この作業では、確率的局在サンプラーの形式を使用してこの現象を説明するためのシンプルで統一された理論を開発します。
生成プロセスがモデルモデルの分布のサブポピュレーションにローカルするにつれて、一般的に出現することを示します。
重要なウィンドウは拡散モデルで詳細に研究されていますが、既存の理論は、強力な分布の仮定とガウス拡散の詳細に大きく依存しています。
既存の研究とは対照的に、私たちの理論（1）は自己回帰モデルと拡散モデルに適用されます。
（2）分布の仮定を行いません。
（3）拡散に特化した場合でも、以前の境界を定量的に改善します。
（4）基本的なツールが必要であり、確率的計算または統計学的物理ベースの機械は必要ありません。
また、統計的推論からのオールオアナッシングの現象との興味深いつながりを特定します。
最後に、LLMSの予測を経験的に検証し、重要なウィンドウがさまざまな数学と推論ベンチマークの問題解決の失敗としばしば一致することが多いことがわかります。

要約(オリジナル)

Large language models can exhibit unexpected behavior in the blink of an eye. In a recent computer use demo, a language model switched from coding to Googling pictures of Yellowstone, and these sudden shifts in behavior have also been observed in reasoning patterns and jailbreaks. This phenomenon is not unique to autoregressive models: in diffusion models, key features of the final output are decided in narrow “critical windows” of the generation process. In this work we develop a simple, unifying theory to explain this phenomenon using the formalism of stochastic localization samplers. We show that it emerges generically as the generation process localizes to a sub-population of the distribution it models. While critical windows have been studied at length in diffusion models, existing theory heavily relies on strong distributional assumptions and the particulars of Gaussian diffusion. In contrast to existing work our theory (1) applies to autoregressive and diffusion models; (2) makes no distributional assumptions; (3) quantitatively improves previous bounds even when specialized to diffusions; and (4) requires basic tools and no stochastic calculus or statistical-physics-based machinery. We also identify an intriguing connection to the all-or-nothing phenomenon from statistical inference. Finally, we validate our predictions empirically for LLMs and find that critical windows often coincide with failures in problem solving for various math and reasoning benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google