A Survey of Large Language Models

要約

タイトル: 大規模言語モデルの調査
要約:
– 言語は複雑で複雑な人間の表現システムであり、文法的なルールで支配されています。
– 言語を理解し、把握するための適切なAIアルゴリズムを開発することは重要な課題です。
– 過去20年間、言語モデルは言語理解や生成のために広く研究され、統計的言語モデルからニューラル言語モデルに進化しています。
– 最近、大規模なコーパス上でトランスフォーマーモデルを事前学習することにより、事前学習言語モデル（PLM）が提案され、様々なNLPタスクを解決する強力な能力を示しました。
– 研究者は、モデルのスケーリングが性能向上につながることを発見しており、モデルサイズをさらに大きくしてスケーリング効果を研究しています。
– 興味深いことに、パラメータスケールがある程度を超えると、これらの拡大された言語モデルは単に性能の向上を達成するだけでなく、小規模言語モデルにはない特別な能力を示します。
– パラメータスケールの違いを区別するために、研究コミュニティは、大きな言語モデル (LLM) の用語を提唱しました。
– 最近、LMMの研究は、アカデミアと産業界の両方によって大きく進歩し、ChatGPTの展開などの注目を浴びるようになっています。
– LMMの技術進化は、AIコミュニティ全体に重要な影響を与えており、AIアルゴリズムの開発と使用方法を革新するでしょう。
– この調査では、背景、主要な発見、主流の技術を紹介することで、最近のLLMの進歩を検討しています。
– 特に、事前学習、適応調整、利用、容量評価の4つの主要な側面に焦点を当てています。
– さらに、LLMの開発のための利用可能なリソースをまとめ、将来的な方向性に向けた未解決の問題を議論しています。

要約(オリジナル)

Language is essentially a complex, intricate system of human expressions governed by grammatical rules. It poses a significant challenge to develop capable AI algorithms for comprehending and grasping a language. As a major approach, language modeling has been widely studied for language understanding and generation in the past two decades, evolving from statistical language models to neural language models. Recently, pre-trained language models (PLMs) have been proposed by pre-training Transformer models over large-scale corpora, showing strong capabilities in solving various NLP tasks. Since researchers have found that model scaling can lead to performance improvement, they further study the scaling effect by increasing the model size to an even larger size. Interestingly, when the parameter scale exceeds a certain level, these enlarged language models not only achieve a significant performance improvement but also show some special abilities that are not present in small-scale language models. To discriminate the difference in parameter scale, the research community has coined the term large language models (LLM) for the PLMs of significant size. Recently, the research on LLMs has been largely advanced by both academia and industry, and a remarkable progress is the launch of ChatGPT, which has attracted widespread attention from society. The technical evolution of LLMs has been making an important impact on the entire AI community, which would revolutionize the way how we develop and use AI algorithms. In this survey, we review the recent advances of LLMs by introducing the background, key findings, and mainstream techniques. In particular, we focus on four major aspects of LLMs, namely pre-training, adaptation tuning, utilization, and capacity evaluation. Besides, we also summarize the available resources for developing LLMs and discuss the remaining issues for future directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI