StarCoder 2 and The Stack v2: The Next Generation

要約

BigCode プロジェクトは、コード用大規模言語モデル (Code LLM) の責任ある開発に焦点を当てたオープン サイエンス コラボレーションであり、StarCoder2 を導入します。
Software Heritage (SWH) との提携により、当社はそのソース コード アーカイブのデジタル コモンズ上に The Stack v2 を構築します。
619 のプログラミング言語にわたる SWH リポジトリに加えて、GitHub プル リクエスト、Kaggle ノートブック、コード ドキュメントなど、他の高品質なデータ ソースも慎重に選択しています。
これにより、最初の StarCoder データセットよりも 4 倍大きいトレーニング セットが生成されます。
私たちは、3B、7B、および 15B パラメーターを使用して 3.3 ～ 4.3 兆のトークンで StarCoder2 モデルをトレーニングし、包括的な Code LLM ベンチマーク セットでそれらを徹底的に評価します。
私たちの小規模モデルである StarCoder2-3B は、ほとんどのベンチマークで同様のサイズの他の Code LLM よりも優れており、StarCoderBase-15B よりも優れていることがわかります。
当社の大型モデル StarCoder2-15B は、同等のサイズの他のモデルを大幅に上回ります。
さらに、サイズが 2 倍以上のモデルである CodeLlama-34B と同等かそれを上回ります。
DeepSeekCoder-33B は、高リソース言語のコード補完において最高のパフォーマンスを発揮するモデルですが、数学およびコード推論ベンチマーク、およびいくつかの低リソース言語では StarCoder2-15B の方が優れていることがわかりました。
OpenRAIL ライセンスの下でモデルの重みを利用できるようにし、ソース コード データの Software Heritage 永続 IDentifier (SWHID) をリリースすることで、トレーニング データに関する完全な透明性を確保します。

要約(オリジナル)

The BigCode project, an open-scientific collaboration focused on the responsible development of Large Language Models for Code (Code LLMs), introduces StarCoder2. In partnership with Software Heritage (SWH), we build The Stack v2 on top of the digital commons of their source code archive. Alongside the SWH repositories spanning 619 programming languages, we carefully select other high-quality data sources, such as GitHub pull requests, Kaggle notebooks, and code documentation. This results in a training set that is 4x larger than the first StarCoder dataset. We train StarCoder2 models with 3B, 7B, and 15B parameters on 3.3 to 4.3 trillion tokens and thoroughly evaluate them on a comprehensive set of Code LLM benchmarks. We find that our small model, StarCoder2-3B, outperforms other Code LLMs of similar size on most benchmarks, and also outperforms StarCoderBase-15B. Our large model, StarCoder2- 15B, significantly outperforms other models of comparable size. In addition, it matches or outperforms CodeLlama-34B, a model more than twice its size. Although DeepSeekCoder- 33B is the best-performing model at code completion for high-resource languages, we find that StarCoder2-15B outperforms it on math and code reasoning benchmarks, as well as several low-resource languages. We make the model weights available under an OpenRAIL license and ensure full transparency regarding the training data by releasing the SoftWare Heritage persistent IDentifiers (SWHIDs) of the source code data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google