Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation

要約

知識蒸留（KD）は、学習表現を大きなモデル（教師）から小さなモデル（学生）に転送する上で非常に有望な機能を示しています。
ただし、生徒と教師の間の容量のギャップが大きくなると、既存のKDメソッドはより良い結果を達成できなくなります。
私たちの仕事は、特に大規模な教師を適用する場合、「事前知識」がKDにとって不可欠であることを示しています。
特に、特徴蒸留前の事前知識として教師の特徴の一部を統合する動的事前知識（DPK）を提案します。
これは、私たちのメソッドが教師の機能を「ターゲット」だけでなく「入力」としても使用することを意味します。
また、特徴のギャップに応じて、トレーニング段階で事前知識の比率を動的に調整し、適切な難易度で生徒を指導します。
提案された方法を評価するために、2つの画像分類ベンチマーク（CIFAR100とImageNet）とオブジェクト検出ベンチマーク（MS COCO）で広範な実験を行います。
結果は、さまざまな設定でのパフォーマンスにおける私たちの方法の優位性を示しています。
さらに重要なことに、DPKを使用すると、生徒モデルのパフォーマンスが教師モデルのパフォーマンスと正の相関関係になります。つまり、より大きな教師を適用することで、生徒の精度をさらに高めることができます。
私たちのコードは、再現性のために公開されます。

要約(オリジナル)

Knowledge distillation (KD) has shown very promising capabilities in transferring learning representations from large models (teachers) to small models (students). However, as the capacity gap between students and teachers becomes larger, existing KD methods fail to achieve better results. Our work shows that the ‘prior knowledge’ is vital to KD, especially when applying large teachers. Particularly, we propose the dynamic prior knowledge (DPK), which integrates part of the teacher’s features as the prior knowledge before the feature distillation. This means that our method also takes the teacher’s feature as `input’, not just `target’. Besides, we dynamically adjust the ratio of the prior knowledge during the training phase according to the feature gap, thus guiding the student in an appropriate difficulty. To evaluate the proposed method, we conduct extensive experiments on two image classification benchmarks (i.e. CIFAR100 and ImageNet) and an object detection benchmark (i.e. MS COCO). The results demonstrate the superiority of our method in performance under varying settings. More importantly, our DPK makes the performance of the student model is positively correlated with that of the teacher model, which means that we can further boost the accuracy of students by applying larger teachers. Our codes will be publicly available for the reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google