SWITCH: Studying with Teacher for Knowledge Distillation of Large Language Models

要約

大規模な言語モデル（LLMS）の成功にもかかわらず、彼らは依然として高い推論コストとメモリの要件に関連する課題に直面しています。
これらの問題に対処するために、知識蒸留（KD）はモデル圧縮の一般的な方法として浮上しており、トレーニングと推論の間の不一致を減らすためにトレーニングデータが特に注目に値するため、学生が生成する出力（SGO）が生成されています。
ただし、SGOはしばしばノイズが多く偏ったシーケンスを生成し、特に長いシーケンスで教師モデルからの誤配置につながる可能性があります。
これらの課題を軽減するために、生徒のシーケンス生成中に教師モデルを戦略的に組み込む新しいアプローチであるスイッチ（知識の蒸留のために教師と一緒に勉強する）を提案します。
Switchは、教師モデルと学生モデルのトークン確率との間の不一致を特定し、特に教師の誤検査を受けやすい長いシーケンスで、教師が選択的に介入できるようにします。
3つのモデルファミリと5つの命令に従うデータセットにわたる広範な実験結果は、スイッチが従来のKDメソッドを上回り、特に長いシーケンシャルデータの生成に優れていることを示しています。

要約(オリジナル)

Despite the success of Large Language Models (LLMs), they still face challenges related to high inference costs and memory requirements. To address these issues, Knowledge Distillation (KD) has emerged as a popular method for model compression, with student-generated outputs (SGOs) as training data being particularly notable for reducing the mismatch between training and inference. However, SGOs often produce noisy and biased sequences, which can lead to misguidance from the teacher model, especially in long sequences. To mitigate these challenges, we propose SWITCH (Studying WIth TeaCHer for Knowledge Distillation), a novel approach that strategically incorporates the teacher model during the student’s sequence generation. SWITCH identifies discrepancies between the token probabilities of the teacher and student models, allowing the teacher to intervene selectively, particularly in long sequences that are more prone to teacher misguidance. Extensive experimental results across three model families and five instruction-following datasets show that SWITCH surpasses traditional KD methods, particularly excelling in the generation of long sequential data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google