Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models

要約

このレポートでは、英語と韓国語のテキスト理解において優れた能力を発揮する、大規模な言語モデルを韓国語に適応させた \texttt{EEVE-Korean-v1.0} を紹介します。
SOLAR-10.7B や Phi-2 など、英語以外のテキストが英語中心のトークナイザーで非効率的に処理される最近の高機能ではあるが英語中心の LLM を基盤として、効率的かつ効果的な語彙拡張 (EEVE) メソッドを紹介します。
パラメータの凍結とサブワードの初期化が含まれます。
新しい埋め込みには数兆のトレーニング トークンが必要であると考えられていたこれまでの取り組みとは対照的に、私たちの手法はわずか 20 億トークン以内で非英語能力を大幅に向上させることができることを示しています。
2024 年 1 月の時点で、Open Ko-LLM Leaderboard で命令調整された LLM のほとんどを上回り、私たちのモデル \texttt{EEVE-Korean-10.8B-v1.0} は、オープンソース コミュニティで韓国の主要な事前トレーニング済みモデルとしてランク付けされています。
、Hugging Faceのリーダーボードによると。
私たちは、さまざまな言語でオープンな研究コミュニティを強化するために、Huggingface でモデルをオープンソース化しています。

要約(オリジナル)

This report introduces \texttt{EEVE-Korean-v1.0}, a Korean adaptation of large language models that exhibit remarkable capabilities across English and Korean text understanding. Building on recent highly capable but English-centric LLMs, such as SOLAR-10.7B and Phi-2, where non-English texts are inefficiently processed with English-centric tokenizers, we present an efficient and effective vocabulary expansion (EEVE) method, which encompasses parameter freezing and subword initialization. In contrast to previous efforts that believe new embeddings require trillions of training tokens, we show that our method can significantly boost non-English proficiency within just 2 billion tokens. Surpassing most instruction-tuned LLMs on the Open Ko-LLM Leaderboard, as of January 2024, our model \texttt{EEVE-Korean-10.8B-v1.0} ranks as the leading Korean pre-trained model in the open-source community, according to Hugging Face’s leaderboard. We open-source our models on Huggingface to empower the open research community in various languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google