Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation

要約

知識の蒸留 (KD) は、大きなモデル (教師) から小さなモデル (学生) に学習表現を移す上で非常に有望な機能を示しています。
しかし、生徒と教師のキャパシティ ギャップが大きくなるにつれて、既存の KD メソッドではより良い結果が得られなくなります。
私たちの仕事は、特に大規模な教師を適用する場合、「事前知識」が KD にとって不可欠であることを示しています。
特に、教師の特徴の一部を特徴抽出前の事前知識として統合する動的事前知識 (DPK) を提案します。
これは、私たちの方法が教師の特徴を「対象」だけでなく「入力」としても受け取ることを意味します。
さらに、学習段階で特徴のギャップに応じて事前知識の比率を動的に調整し、適切な難易度で生徒を導きます。
提案された方法を評価するために、2 つの画像分類ベンチマーク (つまり、CIFAR100 と ImageNet) とオブジェクト検出ベンチマーク (つまり、MS COCO) で広範な実験を行います。結果は、さまざまな設定でのパフォーマンスにおける私たちの方法の優位性を示しています。さらに、私たちの DPK は、
学生モデルのパフォーマンスは、教師モデルのパフォーマンスと正の相関がありました.これは、より大きな教師を適用することで、学生の精度をさらに高めることができることを意味します.さらに重要なことに、DPKは、特定のモデルの教師モデル選択において高速なソリューションを提供します.
\url{https://github.com/Cuibaby/DPK} でリリースされます。

要約(オリジナル)

Knowledge distillation (KD) has shown very promising capabilities in transferring learning representations from large models (teachers) to small models (students). However, as the capacity gap between students and teachers becomes larger, existing KD methods fail to achieve better results. Our work shows that the `prior knowledge’ is vital to KD, especially when applying large teachers. Particularly, we propose the dynamic prior knowledge (DPK), which integrates part of teacher’s features as the prior knowledge before the feature distillation. This means that our method also takes the teacher’s feature as `input’, not just `target’. Besides, we dynamically adjust the ratio of the prior knowledge during the training phase according to the feature gap, thus guiding the student in an appropriate difficulty. To evaluate the proposed method, we conduct extensive experiments on two image classification benchmarks (i.e. CIFAR100 and ImageNet) and an object detection benchmark (i.e. MS COCO. The results demonstrate the superiority of our method in performance under varying settings. Besides, our DPK makes the performance of the student model positively correlated with that of the teacher model, which means that we can further boost the accuracy of students by applying larger teachers. More importantly, DPK provides a fast solution in teacher model selection for any given model. Our code will be released at \url{https://github.com/Cuibaby/DPK}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google