UNDO: Understanding Distillation as Optimization

要約

知識蒸留は、大規模な言語モデル（LLM）の知識をより小さく、より効率的な生徒モデルに圧縮するための効果的な戦略として浮上してきた。しかし、標準的な一発蒸留法は、教師が生成した根拠と生徒の特定の学習要件とのミスマッチにより、しばしば最適とは言えない結果をもたらす。本論文では、UNDO: UNderstanding Distillation as Optimizationのフレームワークを紹介する。このフレームワークは、生徒の誤りを反復的に特定し、それに応じて教師が説明を改善するよう促すことで、このギャップを埋めるように設計されている。各反復は、生徒の学習上の欠陥を直接ターゲットとし、教師がこれらの弱点に具体的に対処するような、調整され強化された理由付けを提供する動機付けとなる。様々な難易度の高い数学的および常識的な推論課題に対する実証的評価により、我々の反復蒸留法であるUNDOは、標準的な一段階蒸留法を大幅に凌駕し、最大20％の成績向上を達成することが実証された。さらに、我々の反復プロセスによって精緻化された教師生成データは、異なる生徒モデルに適用した場合でも効果的であることを示し、我々のアプローチの適用範囲の広さを強調している。我々の研究は、知識抽出を教師と生徒の反復的な相互作用として根本的に捉え直し、より良い知識抽出のために教師による動的な改良を効果的に活用している。

要約(オリジナル)

Knowledge distillation has emerged as an effective strategy for compressing large language models’ (LLMs) knowledge into smaller, more efficient student models. However, standard one-shot distillation methods often produce suboptimal results due to a mismatch between teacher-generated rationales and the student’s specific learning requirements. In this paper, we introduce the UNDO: UNderstanding Distillation as Optimization framework, designed to bridge this gap by iteratively identifying the student’s errors and prompting the teacher to refine its explanations accordingly. Each iteration directly targets the student’s learning deficiencies, motivating the teacher to provide tailored and enhanced rationales that specifically address these weaknesses. Empirical evaluations on various challenging mathematical and commonsense reasoning tasks demonstrate that our iterative distillation method, UNDO, significantly outperforms standard one-step distillation methods, achieving performance gains of up to 20%. Additionally, we show that teacher-generated data refined through our iterative process remains effective even when applied to different student models, underscoring the broad applicability of our approach. Our work fundamentally reframes knowledge distillation as an iterative teacher-student interaction, effectively leveraging dynamic refinement by the teacher for better knowledge distillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL