A Survey of Large Language Models for European Languages

要約

大規模言語モデル (LLM) は、ChatGPT のリリース以来、さまざまな自然言語タスクで高いパフォーマンスを発揮するため、大きな注目を集めています。
LLM は、膨大な量のテキスト データで数十億のモデル パラメーターをトレーニングすることによって、言語を理解して生成することを学びます。
LLM の研究は比較的新しい分野であるにもかかわらず、さまざまな方向に急速に進歩しています。
このペーパーでは、LLaMA、PaLM、GPT、MoE を含む LLM ファミリの概要と、欧州連合 (EU) の公式言語用の LLM を作成および強化するために開発された手法について説明します。
大規模な言語モデルの事前トレーニングに使用される一般的な単言語データセットと多言語データセットの包括的な概要を提供します。

要約(オリジナル)

Large Language Models (LLMs) have gained significant attention due to their high performance on a wide range of natural language tasks since the release of ChatGPT. The LLMs learn to understand and generate language by training billions of model parameters on vast volumes of text data. Despite being a relatively new field, LLM research is rapidly advancing in various directions. In this paper, we present an overview of LLM families, including LLaMA, PaLM, GPT, and MoE, and the methods developed to create and enhance LLMs for official European Union (EU) languages. We provide a comprehensive summary of common monolingual and multilingual datasets used for pretraining large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google