Decoupling Dark Knowledge via Block-wise Logit Distillation for Feature-level Alignment

要約

知識蒸留(Knowledge Distillation: KD)は、より大きな教師ネットワークがより小さな生徒ネットワークをガイドする学習手法であり、よく処理された軽量モデルを生成することを目的として、ロジットや中間特徴量を介して教師から生徒へ暗い知識を転送する。特筆すべきことに、多くの後続の特徴量ベースのKD法は、初期のロジットベースのKD法を凌駕し、多数の最先端の蒸留法を繰り返し生成した。それにもかかわらず、最近の研究ではロジットベースの手法の可能性が明らかになり、ロジットに基づく単純なKD形式が再び脚光を浴びている。特徴量かロジットか？両者は部分的に全く異なる観点でKDを実装しているため、ロジットと特徴量のどちらを選択するかは一筋縄ではいかない。本稿では、両者の基本的な違いをよりよく理解するために、特徴量のアライメントについて統一的な視点を提供する。特徴量ベースの手法とロジットベースの手法の設計思想と洞察を継承し、ブロック単位のロジット蒸留フレームワークを導入し、生徒と教師の間のギャップを埋める中間的な踏み台モデルとして教師ブロックを徐々に置き換えることで、暗黙的なロジットベースの特徴量アライメントを適用する。我々の手法は、最新の蒸留手法と同等かそれ以上の結果を得る。本論文は、ロジットと特徴量を組み合わせることの大きな可能性を示すものであり、より高い視点からKDを見直す今後の研究のきっかけとなることを期待している。

要約(オリジナル)

Knowledge Distillation (KD), a learning manner with a larger teacher network guiding a smaller student network, transfers dark knowledge from the teacher to the student via logits or intermediate features, with the aim of producing a well-performed lightweight model. Notably, many subsequent feature-based KD methods outperformed the earliest logit-based KD method and iteratively generated numerous state-of-the-art distillation methods. Nevertheless, recent work has uncovered the potential of the logit-based method, bringing the simple KD form based on logits back into the limelight. Features or logits? They partially implement the KD with entirely distinct perspectives; therefore, choosing between logits and features is not straightforward. This paper provides a unified perspective of feature alignment in order to obtain a better comprehension of their fundamental distinction. Inheriting the design philosophy and insights of feature-based and logit-based methods, we introduce a block-wise logit distillation framework to apply implicit logit-based feature alignment by gradually replacing teacher’s blocks as intermediate stepping-stone models to bridge the gap between the student and the teacher. Our method obtains comparable or superior results to state-of-the-art distillation methods. This paper demonstrates the great potential of combining logit and features, and we hope it will inspire future research to revisit KD from a higher vantage point.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL