What is the Role of Small Models in the LLM Era: A Survey

要約

大規模な言語モデル（LLMS）は、人工的な一般情報（AGI）の前進に大きな進歩を遂げ、GPT-4やLLAMA-405Bなどのますます大きなモデルの開発につながりました。
ただし、モデルサイズを拡大すると、計算コストとエネルギー消費量が指数関数的に高くなり、これらのモデルは、リソースが限られている学術研究者や企業にとって実用的ではありません。
同時に、実際の設定では小さなモデル（SMS）が頻繁に使用されますが、その重要性は現在過小評価されています。
これは、LLMSの時代における小さなモデルの役割に関する重要な疑問を提起します。これは、以前の研究で限られた注目を集めてきたトピックです。
この作業では、2つの重要な観点からLLMとSMSの関係を体系的に調べます：コラボレーションと競争。
この調査は、実践者に貴重な洞察を提供し、小規模モデルの貢献についてのより深い理解を促進し、計算リソースのより効率的な使用を促進することを願っています。
このコードは、https：//github.com/tigerchen52/role_of_small_modelsで入手できます

要約(オリジナル)

Large Language Models (LLMs) have made significant progress in advancing artificial general intelligence (AGI), leading to the development of increasingly large models such as GPT-4 and LLaMA-405B. However, scaling up model sizes results in exponentially higher computational costs and energy consumption, making these models impractical for academic researchers and businesses with limited resources. At the same time, Small Models (SMs) are frequently used in practical settings, although their significance is currently underestimated. This raises important questions about the role of small models in the era of LLMs, a topic that has received limited attention in prior research. In this work, we systematically examine the relationship between LLMs and SMs from two key perspectives: Collaboration and Competition. We hope this survey provides valuable insights for practitioners, fostering a deeper understanding of the contribution of small models and promoting more efficient use of computational resources. The code is available at https://github.com/tigerchen52/role_of_small_models

arxiv情報

提供元, 利用サービス

arxiv.jp, Google