CrossKD: Cross-Head Knowledge Distillation for Dense Object Detection

要約

知識蒸留 (KD) は、コンパクトなオブジェクト検出器を学習するための効果的なモデル圧縮技術として検証されています。
オブジェクト検出のための既存の最先端の KD 手法は、ほとんどが特徴模倣に基づいており、一般に、予測模倣よりも優れていることが観察されています。
この論文では、グラウンドトゥルース信号と蒸留ターゲットの間の最適化目標の不一致が、予測模倣の非効率性の主な理由であることを示します。
この問題を軽減するために、CrossKD と呼ばれる、単純だが効果的な蒸留スキームを提案します。このスキームは、生徒の検出ヘッドの中間特徴を教師の検出ヘッドに提供します。
結果として得られるクロスヘッド予測は、教師の予測を模倣することを強制されます。
このような蒸留方法により、生徒の頭は、グラウンドトゥルースの注釈と教師の予測からの矛盾する監視信号を受け取ることから解放され、生徒の検出パフォーマンスが大幅に向上します。
MS COCO では、予測を模倣した損失のみが適用され、CrossKD は 1x トレーニング スケジュールで GFL ResNet-50 の平均精度を 40.2 から 43.7 に向上させ、オブジェクト検出における既存のすべての KD メソッドを上回ります。
コードは https://github.com/jbwang1997/CrossKD で入手できます。

要約(オリジナル)

Knowledge Distillation (KD) has been validated as an effective model compression technique for learning compact object detectors. Existing state-of-the-art KD methods for object detection are mostly based on feature imitation, which is generally observed to be better than prediction mimicking. In this paper, we show that the inconsistency of the optimization objectives between the ground-truth signals and distillation targets is the key reason for the inefficiency of prediction mimicking. To alleviate this issue, we present a simple yet effective distillation scheme, termed CrossKD, which delivers the intermediate features of the student’s detection head to the teacher’s detection head. The resulting cross-head predictions are then forced to mimic the teacher’s predictions. Such a distillation manner relieves the student’s head from receiving contradictory supervision signals from the ground-truth annotations and the teacher’s predictions, greatly improving the student’s detection performance. On MS COCO, with only prediction mimicking losses applied, our CrossKD boosts the average precision of GFL ResNet-50 with 1x training schedule from 40.2 to 43.7, outperforming all existing KD methods for object detection. Code is available at https://github.com/jbwang1997/CrossKD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google