Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs

要約

数十億パラメータの大規模言語モデル (LLM) を導入することは、コスト、遅延制限、ハードウェア アクセシビリティなどの制約により、ほとんどの産業用ユースケースでは非現実的になる可能性があります。
知識蒸留 (KD) は、リソースを大量に消費する大規模なモデルから小規模なモデルに知識を圧縮することでソリューションを提供します。
さまざまな戦略が存在し、教師モデルによって生成されたテキストに依存するものや、学習を強化するためにオプションで教師のロジットを利用するものもあります。
ただし、ロジットに基づくこれらの方法では、多くの場合、教師モデルと生徒モデルの両方が同じトークナイザーを共有する必要があり、異なる LLM ファミリ間での適用性が制限されます。
この論文では、この制限に対処するために、最適な輸送に基づいたユニバーサル ロジット蒸留 (ULD) 損失を紹介します。
私たちの実験結果は、異なるアーキテクチャとトークナイザーを備えたモデル間での蒸留を可能にする ULD 損失の有効性を実証し、蒸留技術のより広範な使用への道を開きます。

要約(オリジナル)

Deploying large language models (LLMs) of several billion parameters can be impractical in most industrial use cases due to constraints such as cost, latency limitations, and hardware accessibility. Knowledge distillation (KD) offers a solution by compressing knowledge from resource-intensive large models to smaller ones. Various strategies exist, some relying on the text generated by the teacher model and optionally utilizing his logits to enhance learning. However, these methods based on logits often require both teacher and student models to share the same tokenizer, limiting their applicability across different LLM families. In this paper, we introduce Universal Logit Distillation (ULD) loss, grounded in optimal transport, to address this limitation. Our experimental results demonstrate the effectiveness of ULD loss in enabling distillation across models with different architectures and tokenizers, paving the way to a more widespread use of distillation techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google