A Survey of Large Language Models

要約

タイトル：大規模言語モデルの調査
要約：
– 言語は、文法的ルールに支配される複雑で入り組んだ人間の表現システムであるため、言語を理解し把握する能力を持ったAIアルゴリズムを開発することは重大な課題である。
– 過去20年間、言語モデリングは言語理解と生成に対する主要なアプローチとして、統計言語モデルからニューラル言語モデルまで広く研究されてきた。
– 最近、大規模なコーパス上のTransformerモデルの事前学習による事前学習言語モデル（PLMs）が提案され、さまざまなNLPタスクの解決能力を示すなど、強力な能力があることが分かってきた。
– モデルスケーリングがパフォーマンス向上につながることがわかったため、モデルサイズをさらに大きくすることでスケーリング効果を研究している。
– パラメータスケールがあるレベルを超えると、拡大された言語モデルは、小規模言語モデルには見られない特別な能力を示すようになり、研究部門はその違いを区別するためにPLMの大規模言語モデル(LLM)という言葉を作り出した。
– 最近、学術、産業の両面でLLMの研究が大きく進展しており、広く社会的な関心を集めたChatGPTの発表などの注目すべき進展があった。
– 本調査では、背景、主要な所見、主流の技術を紹介することにより、LLMの最近の進展をレビューする。
– 特に、事前学習、適応調整、利用、容量評価の4つの主要な側面に焦点を当てる。
– さらに、LLMの開発に利用できるリソースをまとめ、将来の方向性に残された課題にも取り組みます。

要約(オリジナル)

Language is essentially a complex, intricate system of human expressions governed by grammatical rules. It poses a significant challenge to develop capable AI algorithms for comprehending and grasping a language. As a major approach, language modeling has been widely studied for language understanding and generation in the past two decades, evolving from statistical language models to neural language models. Recently, pre-trained language models (PLMs) have been proposed by pre-training Transformer models over large-scale corpora, showing strong capabilities in solving various NLP tasks. Since researchers have found that model scaling can lead to performance improvement, they further study the scaling effect by increasing the model size to an even larger size. Interestingly, when the parameter scale exceeds a certain level, these enlarged language models not only achieve a significant performance improvement but also show some special abilities that are not present in small-scale language models. To discriminate the difference in parameter scale, the research community has coined the term large language models (LLM) for the PLMs of significant size. Recently, the research on LLMs has been largely advanced by both academia and industry, and a remarkable progress is the launch of ChatGPT, which has attracted widespread attention from society. The technical evolution of LLMs has been making an important impact on the entire AI community, which would revolutionize the way how we develop and use AI algorithms. In this survey, we review the recent advances of LLMs by introducing the background, key findings, and mainstream techniques. In particular, we focus on four major aspects of LLMs, namely pre-training, adaptation tuning, utilization, and capacity evaluation. Besides, we also summarize the available resources for developing LLMs and discuss the remaining issues for future directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI