Qwen2.5-Coder Technical Report

要約

このレポートでは、前世代の CodeQwen1.5 から大幅にアップグレードされた Qwen2.5-Coder シリーズを紹介します。
このシリーズには、Qwen2.5-Coder-(0.5B/1.5B/3B/7B/14B/32B)の6つのモデルがあります。
コード固有のモデルとして、Qwen2.5-Coder は Qwen2.5 アーキテクチャに基づいて構築されており、5 兆 5,000 億を超えるトークンの膨大なコーパスで事前トレーニングされ続けます。
Qwen2.5-Coder は、細心の注意を払ったデータ クリーニング、スケーラブルな合成データ生成、バランスのとれたデータ混合を通じて、一般的および数学的スキルを維持しながら、優れたコード生成機能を実証します。
これらのモデルは、コード関連の幅広いタスクで評価されており、コードの生成、完了、推論、修復を含む 10 を超えるベンチマークにわたって最先端 (SOTA) のパフォーマンスを達成し、より大きなモデルを一貫して上回っています。
同じモデルサイズ。
Qwen2.5-Coder シリーズのリリースにより、コード インテリジェンスの研究が前進し、寛容なライセンスにより、開発者による現実世界のアプリケーションへの幅広い採用がサポートされると考えています。

要約(オリジナル)

In this report, we introduce the Qwen2.5-Coder series, a significant upgrade from its predecessor, CodeQwen1.5. This series includes six models: Qwen2.5-Coder-(0.5B/1.5B/3B/7B/14B/32B). As a code-specific model, Qwen2.5-Coder is built upon the Qwen2.5 architecture and continues pretrained on a vast corpus of over 5.5 trillion tokens. Through meticulous data cleaning, scalable synthetic data generation, and balanced data mixing, Qwen2.5-Coder demonstrates impressive code generation capabilities while retaining general and math skills. These models have been evaluated on a wide range of code-related tasks, achieving state-of-the-art (SOTA) performance across more than 10 benchmarks, including code generation, completion, reasoning, and repair, consistently outperforming larger models of the same model size. We believe that the release of the Qwen2.5-Coder series will advance research in code intelligence and, with its permissive licensing, support wider adoption by developers in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google