Qwen2.5 Technical Report

要約

このレポートでは、多様なニーズを満たすために設計された大規模言語モデル (LLM) の包括的なシリーズである Qwen2.5 を紹介します。
以前のイテレーションと比較して、Qwen 2.5 はトレーニング前とトレーニング後の両方の段階で大幅に改善されました。
事前トレーニングに関しては、高品質の事前トレーニング データセットを以前の 7 兆トークンから 18 兆トークンに拡張しました。
これにより、常識、専門知識、推論能力の強力な基盤が得られます。
トレーニング後の面では、100 万を超えるサンプルを使用した複雑な教師あり微調整と、多段階の強化学習を実装しています。
トレーニング後のテクニックは人間の好みを強化し、特に長いテキストの生成、構造データ分析、および指示への追従を改善します。
多種多様なユースケースに効果的に対応できるよう、豊富なサイズのQwen2.5 LLMシリーズをご用意しています。
オープンウェイト製品には、ベースモデルと命令調整モデルが含まれており、量子化バージョンも利用できます。
さらに、ホスト型ソリューションの場合、独自モデルには現在 2 つの専門家混合 (MoE) バリアント、Qwen2.5-Turbo と Qwen2.5-Plus が含まれており、どちらも Alibaba Cloud Model Studio から入手できます。
Qwen2.5 は、言語理解、推論、数学、コーディング、人間の好みの調整などを評価する幅広いベンチマークでトップレベルのパフォーマンスを実証しました。特に、オープンウェイトのフラッグシップである Qwen2.5-72B-Instruct は、多くのオープンウェイト ベンチマークを上回るパフォーマンスを示しています。
と独自のモデルを組み合わせ、約5倍の大きさの最先端のオープンウェイトモデルLlama-3-405B-Instructに匹敵するパフォーマンスを発揮します。
Qwen2.5-Turbo および Qwen2.5-Plus は、それぞれ GPT-4o-mini および GPT-4o と競合するパフォーマンスを提供しながら、優れた費用対効果を提供します。
さらに、基礎として、Qwen2.5 モデルは、Qwen2.5-Math、Qwen2.5-Coder、QwQ、マルチモーダル モデルなどの特殊なモデルのトレーニングに役立ちました。

要約(オリジナル)

In this report, we introduce Qwen2.5, a comprehensive series of large language models (LLMs) designed to meet diverse needs. Compared to previous iterations, Qwen 2.5 has been significantly improved during both the pre-training and post-training stages. In terms of pre-training, we have scaled the high-quality pre-training datasets from the previous 7 trillion tokens to 18 trillion tokens. This provides a strong foundation for common sense, expert knowledge, and reasoning capabilities. In terms of post-training, we implement intricate supervised finetuning with over 1 million samples, as well as multistage reinforcement learning. Post-training techniques enhance human preference, and notably improve long text generation, structural data analysis, and instruction following. To handle diverse and varied use cases effectively, we present Qwen2.5 LLM series in rich sizes. Open-weight offerings include base and instruction-tuned models, with quantized versions available. In addition, for hosted solutions, the proprietary models currently include two mixture-of-experts (MoE) variants: Qwen2.5-Turbo and Qwen2.5-Plus, both available from Alibaba Cloud Model Studio. Qwen2.5 has demonstrated top-tier performance on a wide range of benchmarks evaluating language understanding, reasoning, mathematics, coding, human preference alignment, etc. Specifically, the open-weight flagship Qwen2.5-72B-Instruct outperforms a number of open and proprietary models and demonstrates competitive performance to the state-of-the-art open-weight model, Llama-3-405B-Instruct, which is around 5 times larger. Qwen2.5-Turbo and Qwen2.5-Plus offer superior cost-effectiveness while performing competitively against GPT-4o-mini and GPT-4o respectively. Additionally, as the foundation, Qwen2.5 models have been instrumental in training specialized models such as Qwen2.5-Math, Qwen2.5-Coder, QwQ, and multimodal models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google