Qwen2.5-Coder Technical Report

要約

このレポートでは、前世代の CodeQwen1.5 から大幅にアップグレードされた Qwen2.5-Coder シリーズを紹介します。
このシリーズには、Qwen2.5-Coder-1.5B と Qwen2.5-Coder-7B の 2 つのモデルが含まれています。
コード固有のモデルとして、Qwen2.5-Coder は Qwen2.5 アーキテクチャに基づいて構築されており、5 兆 5,000 億を超えるトークンの膨大なコーパスで事前トレーニングされ続けます。
Qwen2.5-Coder は、綿密なデータ クリーニング、スケーラブルな合成データ生成、バランスのとれたデータ混合を通じて、汎用性を維持しながら優れたコード生成機能を実証します。
このモデルは、コード関連の幅広いタスクで評価されており、コードの生成、完了、推論、修復を含む 10 を超えるベンチマークにわたって最先端 (SOTA) のパフォーマンスを達成し、より大きなモデルを一貫して上回っています。
同じモデルサイズ。
Qwen2.5-Coder シリーズのリリースは、コード インテリジェンスの研究の限界を押し広げるだけでなく、その寛容なライセンスを通じて、開発者による現実世界のアプリケーションへの広範な採用を促進すると信じています。

要約(オリジナル)

In this report, we introduce the Qwen2.5-Coder series, a significant upgrade from its predecessor, CodeQwen1.5. This series includes two models: Qwen2.5-Coder-1.5B and Qwen2.5-Coder-7B. As a code-specific model, Qwen2.5-Coder is built upon the Qwen2.5 architecture and continues pretrained on a vast corpus of over 5.5 trillion tokens. Through meticulous data cleaning, scalable synthetic data generation, and balanced data mixing, Qwen2.5-Coder demonstrates impressive code generation capabilities while retaining general versatility. The model has been evaluated on a wide range of code-related tasks, achieving state-of-the-art (SOTA) performance across more than 10 benchmarks, including code generation, completion, reasoning, and repair, consistently outperforming larger models of the same model size. We believe that the release of the Qwen2.5-Coder series will not only push the boundaries of research in code intelligence but also, through its permissive licensing, encourage broader adoption by developers in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google