DynamicKD: An Effective Knowledge Distillation via Dynamic Entropy Correction-Based Distillation for Gap Optimizing

要約

タイトル：DynamicKD: ギャップ最適化のための動的エントロピー補正ベース蒸留の有効性
要約：
– 知識蒸留は高性能な教師ネットワークが学生ネットワークを導くものであるが、教師と学生の性能差が学生のトレーニングに影響することがある。
– 本論文では、教師ではなく、学生を調整してギャップを縮小するために、動的エントロピー補正に基づく新しい知識蒸留アルゴリズムを提案する。
– まず、学生の出力エントロピー（出力情報エントロピーの略称）を変更した場合の蒸留損失への影響を理論的に分析する。
– 本論文は、出力エントロピーを補正することでギャップを縮小できることを示している。
– 次に、動的エントロピー補正に基づく知識蒸留アルゴリズムを作成する。
– このアルゴリズムは、蒸留損失によって動的に更新されるエントロピー コントローラーによって、リアルタイムに出力エントロピーを補正できる。
– 提案されたアルゴリズムは、CIFAR100とImageNetで検証されている。
– さまざまな最先端の蒸留アルゴリズムと比較して、特に教師-学生ペアresnet32x4-resnet8x4に関するCIFAR100の実験で印象的な結果を示している。
– 提案されたアルゴリズムは、従来の蒸留アルゴリズムよりも2.64ポイント、CRDの最先端アルゴリズムよりも0.87ポイント高い分類精度を示し、その有効性と効率性を証明している。

要約(オリジナル)

The knowledge distillation uses a high-performance teacher network to guide the student network. However, the performance gap between the teacher and student networks can affect the student’s training. This paper proposes a novel knowledge distillation algorithm based on dynamic entropy correction to reduce the gap by adjusting the student instead of the teacher. Firstly, the effect of changing the output entropy (short for output information entropy) in the student on the distillation loss is analyzed in theory. This paper shows that correcting the output entropy can reduce the gap. Then, a knowledge distillation algorithm based on dynamic entropy correction is created, which can correct the output entropy in real-time with an entropy controller updated dynamically by the distillation loss. The proposed algorithm is validated on the CIFAR100 and ImageNet. The comparison with various state-of-the-art distillation algorithms shows impressive results, especially in the experiment on the CIFAR100 regarding teacher-student pair resnet32x4-resnet8x4. The proposed algorithm raises 2.64 points over the traditional distillation algorithm and 0.87 points over the state-of-the-art algorithm CRD in classification accuracy, demonstrating its effectiveness and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI