Efficient Large Language Models: A Survey

要約

大規模言語モデル (LLM) は、自然言語理解、言語生成、複雑な推論などの重要なタスクにおいて顕著な能力を実証しており、私たちの社会に大きな影響を与える可能性があります。
ただし、そのような機能には相当のリソースが必要であり、効率の課題に対処するための効果的な手法を開発する強い必要性が強調されています。この調査では、効率的な LLM 研究について体系的かつ包括的なレビューを提供します。
私たちは文献を 3 つの主要なカテゴリで構成される分類法で整理し、それぞれモデル中心、データ中心、フレームワーク中心の観点から、個別でありながら相互に関連している効率的な LLM トピックをカバーします。
また、この調査で取り上げられた論文をまとめた GitHub リポジトリ (https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey) も作成しました。このリポジトリを積極的に保守し、新しい研究が発表されたらそれを組み込む予定です。
。
私たちの調査が、研究者や実践者が効率的な LLM の研究開発を体系的に理解し、この重要で刺激的な分野に貢献するよう促す貴重なリソースとして役立つことを願っています。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable capabilities in important tasks such as natural language understanding, language generation, and complex reasoning and have the potential to make a substantial impact on our society. Such capabilities, however, come with the considerable resources they demand, highlighting the strong need to develop effective techniques for addressing their efficiency challenges.In this survey, we provide a systematic and comprehensive review of efficient LLMs research. We organize the literature in a taxonomy consisting of three main categories, covering distinct yet interconnected efficient LLMs topics from model-centric, data-centric, and framework-centric perspective, respectively. We have also created a GitHub repository where we compile the papers featured in this survey at https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey, and will actively maintain this repository and incorporate new research as it emerges. We hope our survey can serve as a valuable resource to help researchers and practitioners gain a systematic understanding of the research developments in efficient LLMs and inspire them to contribute to this important and exciting field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google