SeaLLMs — Large Language Models for Southeast Asia

要約

様々なタスクにおける大規模言語モデル（LLM）の目覚ましい成果にもかかわらず、しばしば低リソース言語や地域言語を犠牲にして、英語のような高リソース言語を好む言語バイアスが残っている。この不均衡に対処するため、我々は東南アジア（SEA）言語に特化した革新的な言語モデルシリーズであるSeaLLMsを紹介します。SeaLLMsは、Llama-2モデルをベースに構築され、地域言語の複雑さをよりよく捉えるために、拡張された語彙、専門的なインストラクション、アライメントのチューニングなど、継続的な事前学習によってさらに進化しています。これにより、地域の文化的規範、習慣、文体の好み、法的な配慮を尊重し、反映させることができます。私たちの包括的な評価では、SeaLLM-13bモデルは、同等のオープンソースモデルと比較して、幅広い言語タスクとアシスタントスタイルの指示に従う能力において優れたパフォーマンスを示すことが実証されています。さらに、タイ語、クメール語、ラオス語、ビルマ語などの非ラテン言語では、ChatGPT-3.5を大きく上回る性能を発揮し、軽量でコスト効率の高い運用が可能です。

要約(オリジナル)

Despite the remarkable achievements of large language models (LLMs) in various tasks, there remains a linguistic bias that favors high-resource languages, such as English, often at the expense of low-resource and regional languages. To address this imbalance, we introduce SeaLLMs, an innovative series of language models that specifically focuses on Southeast Asian (SEA) languages. SeaLLMs are built upon the Llama-2 model and further advanced through continued pre-training with an extended vocabulary, specialized instruction and alignment tuning to better capture the intricacies of regional languages. This allows them to respect and reflect local cultural norms, customs, stylistic preferences, and legal considerations. Our comprehensive evaluation demonstrates that SeaLLM-13b models exhibit superior performance across a wide spectrum of linguistic tasks and assistant-style instruction-following capabilities relative to comparable open-source models. Moreover, they outperform ChatGPT-3.5 in non-Latin languages, such as Thai, Khmer, Lao, and Burmese, by large margins while remaining lightweight and cost-effective to operate.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL