OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models

要約

コードの大規模言語モデル (LLM) は、コード生成、推論タスク、エージェント システムなどのさまざまなドメインで不可欠なものになっています。オープンアクセス コード LLM が独自モデルのパフォーマンス レベルにますます近づいている一方で、高品質コード LLM は厳密な科学的分析に適しています。
調査、特に再現可能なデータ処理パイプラインと透明性のあるトレーニング プロトコルを備えた調査は依然として限られています。
希少性の原因は、リソースの制約、倫理的配慮、モデルを先進的に保つことによる競争上の利点など、さまざまな課題によるものです。
このギャップに対処するために、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティのための「オープン クックブック」としても機能する最上位コード LLM である OpenCoder を紹介します。
これまでのほとんどの取り組みとは異なり、モデルの重みと推論コードだけでなく、再現可能なトレーニング データ、完全なデータ処理パイプライン、厳密な実験アブレーション結果、およびオープンな科学研究のための詳細なトレーニング プロトコルもリリースします。
この包括的なリリースを通じて、私たちは最上位のコード LLM を構築するための重要な要素を特定します。(1) コードに最適化されたデータ クリーニング用のヒューリスティック ルールとデータ重複排除の方法、(2) コードに関連するテキスト コーパスの再現、および (3) 高度な
– アニーリング段階と教師付き微調整段階の両方で高品質の合成データ。
このレベルのオープン性を提供することで、OpenCoder が研究を加速し、コード AI の再現可能な進歩を可能にする強力なモデルとオープン基盤の両方として機能し、最上位コード LLM のあらゆる側面へのアクセスを拡大することを目指しています。

要約(オリジナル)

Large language models (LLMs) for code have become indispensable in various domains, including code generation, reasoning tasks and agent systems.While open-access code LLMs are increasingly approaching the performance levels of proprietary models, high-quality code LLMs suitable for rigorous scientific investigation, particularly those with reproducible data processing pipelines and transparent training protocols, remain limited. The scarcity is due to various challenges, including resource constraints, ethical considerations, and the competitive advantages of keeping models advanced. To address the gap, we introduce OpenCoder, a top-tier code LLM that not only achieves performance comparable to leading models but also serves as an “open cookbook” for the research community. Unlike most prior efforts, we release not only model weights and inference code, but also the reproducible training data, complete data processing pipeline, rigorous experimental ablation results, and detailed training protocols for open scientific research. Through this comprehensive release, we identify the key ingredients for building a top-tier code LLM: (1) code optimized heuristic rules for data cleaning and methods for data deduplication, (2) recall of text corpus related to code and (3) high-quality synthetic data in both annealing and supervised fine-tuning stages. By offering this level of openness, we aim to broaden access to all aspects of a top-tier code LLM, with OpenCoder serving as both a powerful model and an open foundation to accelerate research, and enable reproducible advancements in code AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google