TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation

要約

パフォーマンスを維持しながら、大規模な言語モデル（LLMS）のサイズを縮小するという課題は大きな注目を集めています。
ただし、モデルの蒸留や転送学習などの既存の方法は、多くの場合、高い精度を達成できません。
この制限に対処するために、2つのフェーズを介してモデルの圧縮を強化するブランチマージ蒸留アプローチを導入します。（1）大規模な教師モデルからの知識が\ textit {選択的に蒸留された}は、ドメイン固有の監視微調整（SFT）を介して特殊な学生モデルになります。
（2）これらの学生モデルがマージされ、クロスドメインの知識移転が可能になり、一般化が改善されるマージフェーズ。
DeepSeek-R1を教師として、DeepSeek-R1-Distill-Qwen-32Bを生徒として使用して蒸留アプローチを検証します。
結果のマージされたモデルであるTinyr1-32B-Previewは、数学（+5.5ポイント）、コーディング（+4.4ポイント）、科学（+2.9ポイント）を含む、複数のベンチマークにわたって対応するDeepSeek-R1-Distill-Qwen-32Bを上回ります。
計算コストと時間を短縮して、より小さく、高性能なLLMを作成するためのソリューション。

要約(オリジナル)

The challenge of reducing the size of Large Language Models (LLMs) while maintaining their performance has gained significant attention. However, existing methods, such as model distillation and transfer learning, often fail to achieve high accuracy. To address this limitation, we introduce the Branch-Merge distillation approach, which enhances model compression through two phases: (1) the Branch Phase, where knowledge from a large teacher model is \textit{selectively distilled} into specialized student models via domain-specific supervised fine-tuning (SFT); And (2) the Merge Phase, where these student models are merged to enable cross-domain knowledge transfer and improve generalization. We validate our distillation approach using DeepSeek-R1 as the teacher and DeepSeek-R1-Distill-Qwen-32B as the student. The resulting merged model, TinyR1-32B-Preview, outperforms its counterpart DeepSeek-R1-Distill-Qwen-32B across multiple benchmarks, including Mathematics (+5.5 points), Coding (+4.4 points) and Science (+2.9 points), while achieving near-equal performance to DeepSeek-R1 on AIME 2024. The Branch-Merge distillation approach provides a scalable solution for creating smaller, high-performing LLMs with reduced computational cost and time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google