The Efficiency Spectrum of Large Language Models: An Algorithmic Survey

要約

大規模言語モデル(LLM)の急速な成長は、様々な領域を変革する原動力となり、人工的な一般知能の状況を再形成している。しかし、このようなモデルの計算量とメモリ需要の増大は、学術研究と実用的な応用の両面で大きな課題となっています。このような問題に対処するため、LLMの効率を向上させるアルゴリズムとハードウェアの両方を含む、幅広い手法が開発されてきた。本サーベイでは、LLMの効率向上を目指したアルゴリズムの進歩を包括的にレビューする。一般的にトレーニングやモデル圧縮などの特定の分野に焦点を当てた他の調査とは異なり、本稿ではLLMのエンドツーエンドのアルゴリズム開発に不可欠な効率性の多面的な側面を検証する。具体的には、スケーリング法則、データ利用、アーキテクチャの革新、トレーニングとチューニング戦略、推論技術など、効率性に関連する様々なトピックを取り上げる。本論文は、研究者や実務家にとって貴重な資料となり、この重要な研究分野における将来の技術革新の基礎を築くことを目的としている。関連文献のリポジトリはurl{https://github.com/tding1/Efficient-LLM-Survey}で管理されている。

要約(オリジナル)

The rapid growth of Large Language Models (LLMs) has been a driving force in transforming various domains, reshaping the artificial general intelligence landscape. However, the increasing computational and memory demands of these models present substantial challenges, hindering both academic research and practical applications. To address these issues, a wide array of methods, including both algorithmic and hardware solutions, have been developed to enhance the efficiency of LLMs. This survey delivers a comprehensive review of algorithmic advancements aimed at improving LLM efficiency. Unlike other surveys that typically focus on specific areas such as training or model compression, this paper examines the multi-faceted dimensions of efficiency essential for the end-to-end algorithmic development of LLMs. Specifically, it covers various topics related to efficiency, including scaling laws, data utilization, architectural innovations, training and tuning strategies, and inference techniques. This paper aims to serve as a valuable resource for researchers and practitioners, laying the groundwork for future innovations in this critical research area. Our repository of relevant references is maintained at url{https://github.com/tding1/Efficient-LLM-Survey}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL