BiLD: Bi-directional Logits Difference Loss for Large Language Model Distillation

要約

近年、大規模言語モデル (LLM) は、さまざまな自然言語処理 (NLP) タスクにわたって優れた機能を示しています。
ただし、このような優れたパフォーマンスにはパラメータ サイズの増加というトレードオフが伴うことが多く、広範な展開には重大な課題が生じます。
知識蒸留 (KD) は、大規模な教師モデルから小規模な生徒モデルに知識を転送することでソリューションを提供します。
この論文では、タスク固有の LLM の蒸留をロジット レベルで検討します。
私たちの調査により、微調整された LLM のロジットは、ビジョン モデルのロジットよりも極端なロングテール分布を示し、ロングテールに隠れた「ノイズ」が蒸留性能に影響を与えることが明らかになりました。
さらに、既存のロジット蒸留方法は、ロジットからの内部ランキング情報を効果的に利用するのに苦労することがよくあります。
これらに対処するために、双方向ロジッツ差分 (BiLD) 損失を提案します。
BiLD 損失は、上位 $k$ の教師と生徒のロジットのみを利用してロングテール ノイズを除去し、ロジットの差を構築することで内部のロジット ランキング情報を活用します。
BiLD 損失を評価するために、2 種類の LLM を使用して 13 のデータセットに対して包括的な実験を実施します。
私たちの結果は、上位 8 個のロジットのみを含む BiLD 損失が、NLP および CV フィールドの両方からの教師あり微調整 (SFT)、バニラ KL 損失、および他の 5 つの蒸留方法よりも優れていることを示しています。

要約(オリジナル)

In recent years, large language models (LLMs) have shown exceptional capabilities across various natural language processing (NLP) tasks. However, such impressive performance often comes with the trade-off of an increased parameter size, posing significant challenges for widespread deployment. Knowledge distillation (KD) provides a solution by transferring knowledge from a large teacher model to a smaller student model. In this paper, we explore the task-specific distillation of LLMs at the logit level. Our investigation reveals that the logits of fine-tuned LLMs exhibit a more extreme long-tail distribution than those from vision models, with hidden ‘noise’ in the long tail affecting distillation performance. Furthermore, existing logits distillation methods often struggle to effectively utilize the internal ranking information from the logits. To address these, we propose the Bi-directional Logits Difference (BiLD) loss. The BiLD loss filters out the long-tail noise by utilizing only top-$k$ teacher and student logits, and leverages the internal logits ranking information by constructing logits differences. To evaluate BiLD loss, we conduct comprehensive experiments on 13 datasets using two types of LLMs. Our results show that the BiLD loss, with only the top-8 logits, outperforms supervised fine-tuning (SFT), vanilla KL loss, and five other distillation methods from both NLP and CV fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google