Rethinking LLM Advancement: Compute-Dependent and Independent Paths to Progress

要約

大規模な言語モデル（LLM）開発を管理する規制の取り組みは、主に高性能計算リソースへのアクセスを制限することに焦点を当てています。
この研究では、Compute-Conscresed環境でのアルゴリズムイノベーションを通じてLLM機能が進むことができるかどうかを調べることにより、このような測定の有効性を評価します。
コンピューティングスケール全体の効率を向上させるコンピューティングに依存しないイノベーションを際立たせる新しいフレームワークを、高い計算で不均衡な利益をもたらすコンピューティング依存のイノベーションを区別することを提案します。
影響は、計算等価ゲイン（CEG）を使用して定量化されます。
NANOGPTモデルを使用した実験的検証により、計算に依存しない進歩により、テストされたスケール全体で大幅なパフォーマンスが得られることが確認されます（たとえば、CEGが最大3.5 \ Times $を合わせます）。
対照的に、コンピューティング依存の進歩は、より小さな実験スケールでのパフォーマンスに有害でしたが、モデルサイズが増加するにつれて（ベースラインと同等）CEGの改善を示しました。
重要なことに、これらの調査結果は、LLMの進行が遅くなる可能性がある一方で、計算ハードウェアの制限がアルゴリズムの進歩によって駆動されるすべての能力の向上を防ぐには不十分であることを示しています。
したがって、効果的なAIの監視は、ハードウェアへの特異な焦点を超えて、アルゴリズム研究を理解し、予測し、潜在的に導くためのメカニズムを組み込まなければならないと主張します。
提案されたフレームワークは、AIの進捗を予測するための分析ツールとしても機能します。

要約(オリジナル)

Regulatory efforts to govern large language model (LLM) development have predominantly focused on restricting access to high-performance computational resources. This study evaluates the efficacy of such measures by examining whether LLM capabilities can advance through algorithmic innovation in compute-constrained environments. We propose a novel framework distinguishing compute-dependent innovations–which yield disproportionate benefits at high compute–from compute-independent innovations, which improve efficiency across compute scales. The impact is quantified using Compute-Equivalent Gain (CEG). Experimental validation with nanoGPT models confirms that compute-independent advancements yield significant performance gains (e.g., with combined CEG up to $3.5\times$) across the tested scales. In contrast, compute-dependent advancements were detrimental to performance at smaller experimental scales, but showed improved CEG (on par with the baseline) as model size increased, a trend consistent with their definition of yielding primary benefits at higher compute. Crucially, these findings indicate that restrictions on computational hardware, while potentially slowing LLM progress, are insufficient to prevent all capability gains driven by algorithmic advancements. We argue that effective AI oversight must therefore incorporate mechanisms for understanding, anticipating, and potentially guiding algorithmic research, moving beyond a singular focus on hardware. The proposed framework also serves as an analytical tool for forecasting AI progress.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google