要約
SAILOR2は、南東アジア（海）言語向けの最先端の多言語モデルのファミリーで、多様なアプリケーションに合わせて1B、8B、および20Bサイズで入手できます。
QWEN2.5に基づいて、SAILOR2は、中国語と英語の習熟度を維持しながら、13の海の言語をサポートするために、500Bトークン（400Bの海洋特有および100Bリプレイトークン）で連続前トレーニングを受けます。
SAILOR2-20Bモデルは、海の言語全体でGPT-4oに対して50-50の勝利を達成しています。
また、データキュレーション、トレーニング前、トレーニング後、モデルのカスタマイズ、評価の5つの重要な側面を含む、多言語モデルを効率的な方法で開発する方法に関する包括的な料理本も提供します。
SAILOR2モデル（Apache 2.0ライセンス）が海の地域で言語開発を促進し、Sailor2 Cookbookが研究者に他のサービス不足の言語向けに、より包括的なLLMを構築するよう促すことを願っています。
要約(オリジナル)
Sailor2 is a family of cutting-edge multilingual language models for South-East Asian (SEA) languages, available in 1B, 8B, and 20B sizes to suit diverse applications. Building on Qwen2.5, Sailor2 undergoes continuous pre-training on 500B tokens (400B SEA-specific and 100B replay tokens) to support 13 SEA languages while retaining proficiency in Chinese and English. Sailor2-20B model achieves a 50-50 win rate against GPT-4o across SEA languages. We also deliver a comprehensive cookbook on how to develop the multilingual model in an efficient manner, including five key aspects: data curation, pre-training, post-training, model customization and evaluation. We hope that Sailor2 model (Apache 2.0 license) will drive language development in the SEA region, and Sailor2 cookbook will inspire researchers to build more inclusive LLMs for other under-served languages.
arxiv情報
| 著者 | Longxu Dou,Qian Liu,Fan Zhou,Changyu Chen,Zili Wang,Ziqi Jin,Zichen Liu,Tongyao Zhu,Cunxiao Du,Penghui Yang,Haonan Wang,Jiaheng Liu,Yongchi Zhao,Xiachong Feng,Xin Mao,Man Tsung Yeung,Kunat Pipatanakul,Fajri Koto,Min Si Thu,Hynek Kydlíček,Zeyi Liu,Qunshu Lin,Sittipong Sripaisarnmongkol,Kridtaphad Sae-Khow,Nirattisai Thongchim,Taechawat Konkaew,Narong Borijindargoon,Anh Dao,Matichon Maneegard,Phakphum Artkaew,Zheng-Xin Yong,Quan Nguyen,Wannaphong Phatthiyaphaibun,Hoang H. Tran,Mike Zhang,Shiqi Chen,Tianyu Pang,Chao Du,Xinyi Wan,Wei Lu,Min Lin |
| 発行日 | 2025-02-18 16:04:57+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google