LumiNet: The Bright Side of Perceptual Knowledge Distillation

要約

知識蒸留研究では、広範な教師モデルを効果的に活用できる特徴ベースの手法が主流となってきました。
対照的に、ロジットベースのアプローチは、教師から隠された「闇の知識」を抽出することにあまり熟練していないと考えられています。
このギャップを埋めるために、ロジットベースの蒸留を強化するように設計された新しい知識伝達アルゴリズムである LumiNet を紹介します。
モデルの表現能力に基づいた調整を通じてロジットを再調整することを目的とした知覚行列を導入します。
LumiNet は、クラス内のダイナミクスを注意深く分析することで、より詳細なクラス間の関係を再構築し、学生モデルがより豊富な知識を学習できるようにします。
教師モデルと生徒モデルの両方がこの洗練されたマトリックスにマッピングされ、生徒の目標は表現上の不一致を最小限に抑えることです。
ベンチマーク データセット (CIFAR-100、ImageNet、MSCOCO) での厳格なテストにより LumiNet の有効性が証明され、主要な特徴ベースの手法に対する競争力が明らかになりました。
さらに、転移学習の領域を探求する際に、私たちの方法を使用してトレーニングされた学生モデルが下流のタスクにどの程度効果的に適応するかを評価します。
特に、Tiny ImageNet に適用すると、転送された機能は顕著なパフォーマンスを示し、さまざまな設定における LumiNet の多用途性と堅牢性がさらに強調されます。
LumiNet を使用して、私たちはロジットベースの知識蒸留の潜在的な能力に対する新たな関心に向けて研究の言説を導いていきたいと考えています。

要約(オリジナル)

In knowledge distillation research, feature-based methods have dominated due to their ability to effectively tap into extensive teacher models. In contrast, logit-based approaches are considered to be less adept at extracting hidden ‘dark knowledge’ from teachers. To bridge this gap, we present LumiNet, a novel knowledge-transfer algorithm designed to enhance logit-based distillation. We introduce a perception matrix that aims to recalibrate logits through adjustments based on the model’s representation capability. By meticulously analyzing intra-class dynamics, LumiNet reconstructs more granular inter-class relationships, enabling the student model to learn a richer breadth of knowledge. Both teacher and student models are mapped onto this refined matrix, with the student’s goal being to minimize representational discrepancies. Rigorous testing on benchmark datasets (CIFAR-100, ImageNet, and MSCOCO) attests to LumiNet’s efficacy, revealing its competitive edge over leading feature-based methods. Moreover, in exploring the realm of transfer learning, we assess how effectively the student model, trained using our method, adapts to downstream tasks. Notably, when applied to Tiny ImageNet, the transferred features exhibit remarkable performance, further underscoring LumiNet’s versatility and robustness in diverse settings. With LumiNet, we hope to steer the research discourse towards a renewed interest in the latent capabilities of logit-based knowledge distillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google