Large Language Models: A Survey

要約

大規模言語モデル (LLM) は、2022 年 11 月の ChatGPT のリリース以来、さまざまな自然言語タスクで強力なパフォーマンスを発揮するため、多くの注目を集めています。LLM の汎用言語の理解と生成の能力は、トレーニングによって獲得されます。
スケーリング則 \cite{kaplan2020scaling,hoffmann2022training} によって予測されるように、大量のテキスト データに対する数十億のモデル パラメーター。
LLM の研究分野は、ごく最近のものではありますが、さまざまな方法で急速に進化しています。
このペーパーでは、3 つの人気のある LLM ファミリ (GPT、LLaMA、PaLM) を含む最も著名な LLM のいくつかをレビューし、それらの特性、貢献、制限について説明します。
また、LLM を構築および拡張するために開発された手法の概要についても説明します。
次に、LLM のトレーニング、微調整、評価用に準備された一般的なデータセットを調査し、広く使用されている LLM 評価指標を確認し、一連の代表的なベンチマークでいくつかの人気のある LLM のパフォーマンスを比較します。
最後に、未解決の課題と今後の研究の方向性について議論してこの論文を締めくくります。

要約(オリジナル)

Large Language Models (LLMs) have drawn a lot of attention due to their strong performance on a wide range of natural language tasks, since the release of ChatGPT in November 2022. LLMs’ ability of general-purpose language understanding and generation is acquired by training billions of model’s parameters on massive amounts of text data, as predicted by scaling laws \cite{kaplan2020scaling,hoffmann2022training}. The research area of LLMs, while very recent, is evolving rapidly in many different ways. In this paper, we review some of the most prominent LLMs, including three popular LLM families (GPT, LLaMA, PaLM), and discuss their characteristics, contributions and limitations. We also give an overview of techniques developed to build, and augment LLMs. We then survey popular datasets prepared for LLM training, fine-tuning, and evaluation, review widely used LLM evaluation metrics, and compare the performance of several popular LLMs on a set of representative benchmarks. Finally, we conclude the paper by discussing open challenges and future research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google