O1 Replication Journey — Part 2: Surpassing O1-preview through Simple Distillation, Big Progress or Bitter Lesson?

要約

このペーパーでは、OpenAI の O1 モデル機能を複製するための現在のアプローチについて、特に広く知られているが非公開で使用されている知識蒸留技術に焦点を当てて、批判的に検証します。
私たちの以前の研究では O1 レプリ​​ケーションへの基本的な技術的経路を調査しましたが、この研究では、O1 の API からの単純な抽出と教師付き微調整を組み合わせることで、複雑な数学的推論タスクで優れたパフォーマンスをどのように達成できるかを明らかにしました。
広範な実験を通じて、O1 によって抽出された長年の思考の連鎖によって単純に数万のサンプルに基づいて微調整されたベース モデルが、技術的な複雑さを最小限に抑えながら、American Invitational Mathematics Exam (AIME) での O1 プレビューよりも優れていることを示しました。
さらに、私たちの調査は数学的推論を超えて、幻覚、安全性、オープンドメイン QA などのさまざまなタスクにわたる O1 蒸留モデルの一般化機能を調査しています。
特に、数学的な問題解決データのみでトレーニングしたにもかかわらず、私たちのモデルは、無制限の QA タスクに対する強力な一般化を示し、微調整後にお調子者の影響を大幅に軽減しました。
私たちは、AI 研究の透明性を促進し、この分野における技術的主張が曖昧になる現在の傾向に異議を唱えるために、この調査結果を意図的に公開しています。
私たちの仕事には以下が含まれます: (1) 蒸留プロセスとその有効性の詳細な技術的説明、(2) 技術的な透明性と再現性に基づいて O1 複製の試行を評価および分類するための包括的なベンチマーク フレームワーク、(3) 限界についての批判的な議論
蒸留アプローチに過度に依存する潜在的なリスクを考慮すると、私たちの分析は決定的に苦い教訓につながります。より高性能な AI システムの追求は重要ですが、第一原理思考に基づいた研究者の育成が最も重要です。

要約(オリジナル)

This paper presents a critical examination of current approaches to replicating OpenAI’s O1 model capabilities, with particular focus on the widespread but often undisclosed use of knowledge distillation techniques. While our previous work explored the fundamental technical path to O1 replication, this study reveals how simple distillation from O1’s API, combined with supervised fine-tuning, can achieve superior performance on complex mathematical reasoning tasks. Through extensive experiments, we show that a base model fine-tuned on simply tens of thousands of samples O1-distilled long-thought chains outperforms O1-preview on the American Invitational Mathematics Examination (AIME) with minimal technical complexity. Moreover, our investigation extends beyond mathematical reasoning to explore the generalization capabilities of O1-distilled models across diverse tasks: hallucination, safety and open-domain QA. Notably, despite training only on mathematical problem-solving data, our models demonstrated strong generalization to open-ended QA tasks and became significantly less susceptible to sycophancy after fine-tuning. We deliberately make this finding public to promote transparency in AI research and to challenge the current trend of obscured technical claims in the field. Our work includes: (1) A detailed technical exposition of the distillation process and its effectiveness, (2) A comprehensive benchmark framework for evaluating and categorizing O1 replication attempts based on their technical transparency and reproducibility, (3) A critical discussion of the limitations and potential risks of over-relying on distillation approaches, our analysis culminates in a crucial bitter lesson: while the pursuit of more capable AI systems is important, the development of researchers grounded in first-principles thinking is paramount.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google