Position: Enough of Scaling LLMs! Lets Focus on Downscaling

要約

我々は、ニューラル・スケーリング法則への支配的な焦点に異議を唱え、大規模言語モデル（LLM）の開発におけるダウンスケーリングへのパラダイムシフトを提唱する。スケーリング則は、モデルとデータセットのサイズを大きくすることによる性能向上に関する重要な洞察を提供してきたが、特に計算効率の悪さ、環境への影響、展開の制約といった点で、このアプローチには大きな限界があることを強調する。これらの課題に対処するため、リソースの需要を大幅に削減しながら性能を維持することを目指す、LLMのダウンスケールに関する全体的なフレームワークを提案する。本論文では、従来のスケーリングパラダイムから移行するための実践的な戦略を概説し、LLM開発においてより持続可能で効率的、かつ利用しやすいアプローチを提唱する。

要約(オリジナル)

We challenge the dominant focus on neural scaling laws and advocate for a paradigm shift toward downscaling in the development of large language models (LLMs). While scaling laws have provided critical insights into performance improvements through increasing model and dataset size, we emphasize the significant limitations of this approach, particularly in terms of computational inefficiency, environmental impact, and deployment constraints. To address these challenges, we propose a holistic framework for downscaling LLMs that seeks to maintain performance while drastically reducing resource demands. This paper outlines practical strategies for transitioning away from traditional scaling paradigms, advocating for a more sustainable, efficient, and accessible approach to LLM development.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL