A Comprehensive Overview of Large Language Models

要約

大規模言語モデル (LLM) は、最近、自然言語処理タスクおよびそれ以外の分野で優れた機能を実証しています。
LLM のこの成功により、この方向への研究貢献が大量に流入するようになりました。
これらの研究には、基礎となるニューラル ネットワークのアーキテクチャの革新、コンテキストの長さの改善、モデルの調整、トレーニング データセット、ベンチマーク、効率など、さまざまなトピックが含まれています。
LLM 研究における技術の急速な発展と定期的な進歩により、この方向の進歩の全体像を把握することがかなり困難になってきています。
LLM に関する大量の文献が急速に出現していることを考慮すると、研究コミュニティがこの分野の最近の発展の簡潔かつ包括的な概要から恩恵を受けることが不可欠です。
この記事では、その概要を研究コミュニティに提供します。
広範な LLM 関連概念に関する既存の文献を体系的に扱うことに焦点を当てているだけでなく、個々の既存のモデル、データセット、主要な洞察に関する広範な詳細を含む包括的な概要を提供することにも特別な注意を払っています。
我々はまた、LLM のより広範な研究方向に関する最近具体化された他のレビューを考慮に入れることにより、この研究方向の新たな展望と概要を一致させることにも注意を払う。
LLM の自己完結型の包括的な概要では、この研究方向の最前線にある高度なトピックをカバーするとともに、関連する背景概念についても説明します。
このレビュー記事は、体系的な調査を提供するだけでなく、LLM 研究の方向性を前進させるために、研究者や実践者が既存の研究の広範な有益な要約から洞察を引き出すための迅速な包括的な参考資料を提供することを目的としています。

要約(オリジナル)

Large Language Models (LLMs) have recently demonstrated remarkable capabilities in natural language processing tasks and beyond. This success of LLMs has led to a large influx of research contributions in this direction. These works encompass diverse topics such as architectural innovations of the underlying neural networks, context length improvements, model alignment, training datasets, benchmarking, efficiency and more. With the rapid development of techniques and regular breakthroughs in LLM research, it has become considerably challenging to perceive the bigger picture of the advances in this direction. Considering the rapidly emerging plethora of literature on LLMs, it is imperative that the research community is able to benefit from a concise yet comprehensive overview of the recent developments in this field. This article provides that overview to the research community. It not only focuses on a systematic treatment of the existing literature on a broad range of LLM related concept, but also pays special attention to providing comprehensive summaries with extensive details about the individual existing models, datasets and major insights. We also pay heed to aligning our overview with the emerging outlook of this research direction by accounting for the other recently materializing reviews of the broader research direction of LLMs. Our self-contained comprehensive overview of LLMs discusses relevant background concepts along with covering the advanced topics at the frontier of this research direction. This review article is intended to not only provide a systematic survey, but also a quick comprehensive reference for the researchers and practitioners to draw insights from extensive informative summaries of the existing works to advance the LLM research direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google