OpenCodeReasoning: Advancing Data Distillation for Competitive Coding

要約

推論に基づいた大規模な言語モデルの出現以来、多くの人は、推論能力を学生モデルに蒸留することで大きな成功を収めています。
このような手法は、コーディングタスクに関する推論と標準LLMの間のギャップを大幅に埋めました。
それにもかかわらず、蒸留推論モデルの進展の多くは、独自のデータセットの背後にロックされたままであるか、データのキュレーション、フィルタリング、およびその後のトレーニングの詳細がありません。
これに対処するために、最先端のコーディング機能を達成するために使用する優れた監視付き微調整（SFT）データセットを構築します。
私たちの蒸留モデルは、SFTのみを使用して、LiveCodebenchで61.8％、CodeContestsで24.6％を達成し、強化学習で訓練された代替品を超えています。
次に、データセット、コード実行フィルタリングの影響、および命令/ソリューションの多様性の重要性を構築するために使用されるデータソースの分析を実行します。
実行フィルタリングがベンチマークの精度に悪影響を及ぼし、ソリューションの正確性よりも指導の多様性に優先順位を付けることになっていることがわかります。
最後に、これらのモデルで利用されるトークンの効率と推論パターンも分析します。
これらのデータセットと蒸留モデルをコミュニティにオープンソーシングします。

要約(オリジナル)

Since the advent of reasoning-based large language models, many have found great success from distilling reasoning capabilities into student models. Such techniques have significantly bridged the gap between reasoning and standard LLMs on coding tasks. Despite this, much of the progress on distilling reasoning models remains locked behind proprietary datasets or lacks details on data curation, filtering and subsequent training. To address this, we construct a superior supervised fine-tuning (SFT) dataset that we use to achieve state-of-the-art coding capability results in models of various sizes. Our distilled models use only SFT to achieve 61.8% on LiveCodeBench and 24.6% on CodeContests, surpassing alternatives trained with reinforcement learning. We then perform analysis on the data sources used to construct our dataset, the impact of code execution filtering, and the importance of instruction/solution diversity. We observe that execution filtering negatively affected benchmark accuracy, leading us to prioritize instruction diversity over solution correctness. Finally, we also analyze the token efficiency and reasoning patterns utilized by these models. We will open-source these datasets and distilled models to the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google