BD-KD: Balancing the Divergences for Online Knowledge Distillation

要約

知識の蒸留 (KD) は、大規模で強力なネットワークをより小さな低容量モデルに圧縮する効果があるため、エッジ デバイスのモデル圧縮の分野で多くの注目を集めています。
教師と生徒の両方が共同で学習するオンライン蒸留も、関連するネットワークのパフォーマンスを向上させる能力があるため、多くの関心を集めています。
カルバック ライブラー (KL) ダイバージェンスは、教師と生徒の間の適切な知識伝達を保証します。
ただし、ほとんどのオンライン KD 手法には、ネットワーク容量のギャップの下でいくつかのボトルネックが存在します。
協調的かつ同時にトレーニングすることにより、モデルは KL 距離が教師と生徒の分布を適切に最小化できなくなります。
精度に加えて、重要なエッジ デバイス アプリケーションには、十分に調整されたコンパクトなネットワークが必要です。
信頼度調整は、信頼できる予測を得る賢明な方法を提供します。
私たちはBD-KDを提案します：オンライン知識蒸留のためのダイバージェンスのバランス。
リバース ダイバージェンスとフォワード ダイバージェンスの間で適応的にバランスを取ることで、教師ネットワークの学習プロセスを制限することなく、トレーニング戦略の焦点をコンパクトな生徒ネットワークに移すことができます。
このバランス設計をスチューデント蒸留損失のレベルで実行することにより、パフォーマンスの精度とコンパクトなスチューデント ネットワークのキャリブレーションの両方が向上することを示します。
さまざまなネットワーク アーキテクチャを使用して大規模な実験を実施し、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet などの複数のデータセットで改善を示しました。
現在の最先端のオンラインおよびオフライン KD 技術との包括的な比較とアブレーションを通じて、アプローチの有効性を示します。

要約(オリジナル)

Knowledge distillation (KD) has gained a lot of attention in the field of model compression for edge devices thanks to its effectiveness in compressing large powerful networks into smaller lower-capacity models. Online distillation, in which both the teacher and the student are learning collaboratively, has also gained much interest due to its ability to improve on the performance of the networks involved. The Kullback-Leibler (KL) divergence ensures the proper knowledge transfer between the teacher and student. However, most online KD techniques present some bottlenecks under the network capacity gap. By cooperatively and simultaneously training, the models the KL distance becomes incapable of properly minimizing the teacher’s and student’s distributions. Alongside accuracy, critical edge device applications are in need of well-calibrated compact networks. Confidence calibration provides a sensible way of getting trustworthy predictions. We propose BD-KD: Balancing of Divergences for online Knowledge Distillation. We show that adaptively balancing between the reverse and forward divergences shifts the focus of the training strategy to the compact student network without limiting the teacher network’s learning process. We demonstrate that, by performing this balancing design at the level of the student distillation loss, we improve upon both performance accuracy and calibration of the compact student network. We conducted extensive experiments using a variety of network architectures and show improvements on multiple datasets including CIFAR-10, CIFAR-100, Tiny-ImageNet, and ImageNet. We illustrate the effectiveness of our approach through comprehensive comparisons and ablations with current state-of-the-art online and offline KD techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google