Open Llama2 Model for the Lithuanian Language

要約

このペーパーでは、付随する質問/回答 (Q/A) データセットと一般的な LLM ベンチマークの翻訳を含む、リトアニア語用の最初のオープンな Llama2 大規模言語モデル (LLM) を提案し、説明します。
オープンな地域 LLM の簡単なレビューと、提案されている LLM とそのトレーニング プロセスに関する詳細情報を提供します。
また、提案された LLM の複雑さを他の最新のオープン LLM と比較する実証的評価も実施します。
さらに、提案された LLM を言語理解タスクに対してベンチマークすると、これらのベンチマークで効率的に実行するモデルを実現するには、高品質の事前トレーニング データセットが不可欠である可能性があることがわかります。
説明されている LLM の完全な実現は、付属のオープン リポジトリ~\url{https://huggingface.co/neurotechnology} で入手できます。

要約(オリジナル)

In this paper, we propose and describe the first open Llama2 large language models (LLMs) for the Lithuanian language, including an accompanying question/answer (Q/A) dataset and translations of popular LLM benchmarks. We provide a brief review of open regional LLMs and detailed information on the proposed LLMs and their training process. We also conduct an empirical evaluation, comparing the perplexities of the proposed LLMs with those of other modern open LLMs. In addition, benchmarking the proposed LLMs against language understanding tasks reveals that high-quality pretraining datasets may be essential for achieving models that perform efficiently on these benchmarks. The full realisations of the described LLMs are available in the accompanying open repository~\url{https://huggingface.co/neurotechnology}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google