The Race to Efficiency: A New Perspective on AI Scaling Laws

要約

大規模な AI モデルが拡大するにつれて、トレーニングのコストが増大し、進歩を維持することが難しくなります。
古典的なスケーリングの法則 (Kaplan et al. (2020)、Hoffmann et al. (2022) など) は、静的なコンピューティング バジェットによるトレーニングの損失を予測しますが、時間と効率は無視されているため、膨れ上がる GPU フリートと急速に改善する GPU フリートのバランスをどうすれば取れるかという疑問が生じます。
ハードウェアとアルゴリズムは？
古典的な AI スケーリング則を拡張する、時間と効率を意識したフレームワークである相対損失方程式を紹介します。
私たちのモデルは、継続的な効率向上がなければ、高度なパフォーマンスを実現するには数千年にわたるトレーニングや非現実的な大規模な GPU フリートが必要になる可能性があることを示しています。
ただし、「効率倍増率」がムーアの法則に匹敵する場合、ほぼ指数関数的な進歩は依然として達成可能です。
この効率化への競争を形式化することで、フロントローディングの GPU 投資と AI スタック全体の漸進的な改善のバランスを取るための定量的なロードマップを提供します。
経験的傾向は、持続的な効率の向上により、AI のスケーリングを今後 10 年にわたって推進する可能性があることを示唆しており、古典的なスケーリングに固有の利益逓減に関する新たな視点を提供します。

要約(オリジナル)

As large-scale AI models expand, training becomes costlier and sustaining progress grows harder. Classical scaling laws (e.g., Kaplan et al. (2020), Hoffmann et al. (2022)) predict training loss from a static compute budget yet neglect time and efficiency, prompting the question: how can we balance ballooning GPU fleets with rapidly improving hardware and algorithms? We introduce the relative-loss equation, a time- and efficiency-aware framework that extends classical AI scaling laws. Our model shows that, without ongoing efficiency gains, advanced performance could demand millennia of training or unrealistically large GPU fleets. However, near-exponential progress remains achievable if the ‘efficiency-doubling rate’ parallels Moore’s Law. By formalizing this race to efficiency, we offer a quantitative roadmap for balancing front-loaded GPU investments with incremental improvements across the AI stack. Empirical trends suggest that sustained efficiency gains can push AI scaling well into the coming decade, providing a new perspective on the diminishing returns inherent in classical scaling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google