Qwen2.5 Technical Report

要約

本稿では、多様なニーズに対応するために設計された包括的な大規模言語モデル（LLM）シリーズであるQwen2.5を紹介する。Qwen2.5では、事前学習と事後学習の両段階において、大幅な改良が施されています。事前学習に関しては、高品質な事前学習データセットを従来の7兆トークンから18兆トークンに拡張しました。これにより、常識、専門知識、推論能力のための強力な基盤が提供される。ポストトレーニングに関しては、100万以上のサンプルを用いた複雑な教師付き微調整と、多段強化学習を実装している。ポストトレーニング技術は、人間の嗜好性を高め、長文生成、構造データ解析、指示追従性を顕著に向上させる。多様で多様なユースケースに効果的に対応するため、Qwen2.5 LLMシリーズには豊富なサイズを用意しています。オープンウェイトには、基本モデルと命令チューニングモデルがあり、量子化バージョンも利用可能です。さらに、ホスト型ソリューション向けに、独自モデルには現在2種類のMoE（Mixture-of-Experts）があります：Qwen2.5-TurboとQwen2.5-Plusで、いずれもAlibaba Cloud Model Studioから入手できます。Qwen2.5 は、言語理解、推論、数学、コーディング、人間の嗜好アライメントなどを評価する広範なベンチマークで、トップクラスの性能を実証しています。特に、オープンウェイトのフラッグシップモデルである Qwen2.5-72B-Instruct は、多くのオープンモデルやプロプライエタリモデルを凌駕し、約5倍の大きさを持つ最先端のオープンウェイトモデルである Llama-3-405B-Instruct に匹敵するパフォーマンスを示しています。Qwen2.5-TurboとQwen2.5-Plusは、それぞれGPT-4o-miniとGPT-4oに対して競争力のある性能を発揮しながら、優れた費用対効果を提供します。さらに、Qwen2.5 モデルはその基盤として、Qwen2.5-Math、Qwen2.5-Coder、QwQ、マルチモーダルモデルなどの特殊モデルのトレーニングにも役立っています。

要約(オリジナル)

In this report, we introduce Qwen2.5, a comprehensive series of large language models (LLMs) designed to meet diverse needs. Compared to previous iterations, Qwen 2.5 has been significantly improved during both the pre-training and post-training stages. In terms of pre-training, we have scaled the high-quality pre-training datasets from the previous 7 trillion tokens to 18 trillion tokens. This provides a strong foundation for common sense, expert knowledge, and reasoning capabilities. In terms of post-training, we implement intricate supervised finetuning with over 1 million samples, as well as multistage reinforcement learning. Post-training techniques enhance human preference, and notably improve long text generation, structural data analysis, and instruction following. To handle diverse and varied use cases effectively, we present Qwen2.5 LLM series in rich sizes. Open-weight offerings include base and instruction-tuned models, with quantized versions available. In addition, for hosted solutions, the proprietary models currently include two mixture-of-experts (MoE) variants: Qwen2.5-Turbo and Qwen2.5-Plus, both available from Alibaba Cloud Model Studio. Qwen2.5 has demonstrated top-tier performance on a wide range of benchmarks evaluating language understanding, reasoning, mathematics, coding, human preference alignment, etc. Specifically, the open-weight flagship Qwen2.5-72B-Instruct outperforms a number of open and proprietary models and demonstrates competitive performance to the state-of-the-art open-weight model, Llama-3-405B-Instruct, which is around 5 times larger. Qwen2.5-Turbo and Qwen2.5-Plus offer superior cost-effectiveness while performing competitively against GPT-4o-mini and GPT-4o respectively. Additionally, as the foundation, Qwen2.5 models have been instrumental in training specialized models such as Qwen2.5-Math, Qwen2.5-Coder, QwQ, and multimodal models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL