Vikhr: Constructing a State-of-the-art Bilingual Open-Source Instruction-Following Large Language Model for Russian

要約

さまざまな大規模言語モデル (LLM) の開発が急増しています。
ただし、英語以外の言語のテキスト生成は、モデルの語彙内のトークンの不均衡な表現による生成品質の低下や計算パフォーマンスの低下など、重大な課題に直面することがよくあります。
この研究では、英語指向の事前トレーニング済みモデルを他の言語に適応させ、効率的なバイリンガル LLM を構築するためのパイプラインを開発することで、これらの問題に対処します。
このパイプラインを使用して、ロシア語専用に設計された最先端のバイリンガル オープンソース命令追従 LLM である Vikhr を構築します。
「Vikhr」はミストラルLLMシリーズの名前を指し、「強い突風」を意味します。
通常、英語指向のモデルに加えて LoRA アダプターに依存し、トレーニング コストを下げるためにパフォーマンスを犠牲にする以前のロシア語モデルとは異なり、Vikhr は適応されたトークナイザー語彙を特徴としており、継続的な事前トレーニングとすべての重みの命令調整を受けています。
これにより、モデルのパフォーマンスが向上するだけでなく、計算効率とコンテキスト効率も大幅に向上します。
さまざまなロシア語ベンチマークにおける Vikhr の顕著なパフォーマンスは、継続的な事前トレーニングのための命令データセットとコーパスの拡張における私たちの取り組みにも起因していると考えられます。
Vikhr は、ロシア向けのオープンソース LLM の中で新たな最先端を確立するだけでなく、特定のベンチマークでは一部の独自のクローズドソース モデルをも上回るパフォーマンスを示します。
モデルの重み、命令セット、コードは公開されています。

要約(オリジナル)

There has been a surge in developing various Large Language Models (LLMs). However, text generation for languages other than English often faces significant challenges, including poor generation quality and reduced computational performance due to the disproportionate representation of tokens in the model’s vocabulary. In this work, we address these issues by developing a pipeline for adapting English-oriented pre-trained models to other languages and constructing efficient bilingual LLMs. Using this pipeline, we construct Vikhr, a state-of-the-art bilingual open-source instruction-following LLM designed specifically for the Russian language. ‘Vikhr’ refers to the name of the Mistral LLM series and means a ‘strong gust of wind.’ Unlike previous Russian-language models that typically rely on LoRA adapters on top of English-oriented models, sacrificing performance for lower training costs, Vikhr features an adapted tokenizer vocabulary and undergoes continued pre-training and instruction tuning of all weights. This not only enhances the model’s performance but also significantly improves its computational and contextual efficiency. The remarkable performance of Vikhr across various Russian-language benchmarks can also be attributed to our efforts in expanding instruction datasets and corpora for continued pre-training. Vikhr not only sets a new state of the art among open-source LLMs for Russian but even outperforms some proprietary closed-source models on certain benchmarks. The model weights, instruction sets, and code are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google