Aya Expanse: Combining Research Breakthroughs for a New Multilingual Frontier

要約

私たちは、新世代の 8B および 32B パラメーターの多言語モデルである、Aya Expanse モデル ファミリーを導入します。これは、単言語モデルの機能に匹敵する、またはそれを上回る高性能の多言語モデルを開発するという重要な課題に対処することを目的としています。
データ アービトラージ、多言語プリファレンス トレーニング、モデルのマージの進歩など、Cohere For AI と Cohere での数年間の研究を活用することで、Aya Expanse は多言語パフォーマンスにおける新たな最先端を確立します。
23 か国語に翻訳された Arena-Hard-Auto データセットに対する評価では、Aya Expanse 8B および 32B が、Gemma 2、Qwen 2.5、Llama 3.1 などのそれぞれのパラメーター クラスで主要なオープンウェイト モデルを上回り、最大
勝率76.6%。
特に、Aya Expanse 32B は、パラメータが 2 倍あるモデルである Llama 3.1 70B を上回り、54.0% の勝率を達成しました。
この短い技術レポートでは、Aya Expanse モデル ファミリの拡張評価結果を紹介し、新しい多言語評価データセット m-ArenaHard とともにそのオープンウェイトをリリースします。

要約(オリジナル)

We introduce the Aya Expanse model family, a new generation of 8B and 32B parameter multilingual language models, aiming to address the critical challenge of developing highly performant multilingual models that match or surpass the capabilities of monolingual models. By leveraging several years of research at Cohere For AI and Cohere, including advancements in data arbitrage, multilingual preference training, and model merging, Aya Expanse sets a new state-of-the-art in multilingual performance. Our evaluations on the Arena-Hard-Auto dataset, translated into 23 languages, demonstrate that Aya Expanse 8B and 32B outperform leading open-weight models in their respective parameter classes, including Gemma 2, Qwen 2.5, and Llama 3.1, achieving up to a 76.6% win-rate. Notably, Aya Expanse 32B outperforms Llama 3.1 70B, a model with twice as many parameters, achieving a 54.0% win-rate. In this short technical report, we present extended evaluation results for the Aya Expanse model family and release their open-weights, together with a new multilingual evaluation dataset m-ArenaHard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google