OpenLLM-Ro — Technical Report on Open-source Romanian LLMs trained starting from Llama 2

要約

近年、大規模言語モデル (LLM) は、さまざまなタスクにおいてほぼ人間と同等のパフォーマンスを達成しています。
一部の LLM は多言語データでトレーニングされていますが、トレーニング データのほとんどは英語です。
したがって、英語でのパフォーマンスは他の言語でのパフォーマンスを大幅に上回ります。
このドキュメントでは、ルーマニア語に特化した最初の基礎およびチャット LLM をトレーニングおよび評価するためのアプローチを示します。

要約(オリジナル)

In recent years, Large Language Models (LLMs) have achieved almost human-like performance on various tasks. While some LLMs have been trained on multilingual data, most of the training data is in English. Hence, their performance in English greatly exceeds their performance in other languages. This document presents our approach to training and evaluating the first foundational and chat LLM specialized for Romanian.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google