CrossKD: Cross-Head Knowledge Distillation for Object Detection

要約

知識蒸留 (KD) は、コンパクトなオブジェクト検出器を学習するための効果的なモデル圧縮技術として検証されています。
オブジェクト検出のための既存の最先端の KD 手法は、ほとんどが特徴の模倣に基づいています。
この論文では、CrossKD と呼ばれる一般的で効果的な予測模倣蒸留スキームを紹介します。このスキームは、生徒の検出ヘッドの中間特徴を教師の検出ヘッドに提供します。
結果として得られるクロスヘッド予測は、教師の予測を模倣することを強制されます。
この方法により、生徒の頭が注釈と教師の予測からの矛盾する監視信号を受け取ることから解放され、生徒の検出パフォーマンスが大幅に向上します。
さらに、教師の予測を模倣することが KD のターゲットであるため、CrossKD は特徴の模倣とは対照的に、よりタスク指向の情報を提供します。
MS COCO では、予測を模倣した損失のみが適用され、CrossKD は 1x トレーニング スケジュールで GFL ResNet-50 の平均精度を 40.2 から 43.7 に向上させ、既存のすべての KD メソッドを上回ります。
さらに、私たちの方法は、不均一なバックボーンを持つ検出器を蒸留する場合にもうまく機能します。
コードは https://github.com/jbwang1997/CrossKD で入手できます。

要約(オリジナル)

Knowledge Distillation (KD) has been validated as an effective model compression technique for learning compact object detectors. Existing state-of-the-art KD methods for object detection are mostly based on feature imitation. In this paper, we present a general and effective prediction mimicking distillation scheme, called CrossKD, which delivers the intermediate features of the student’s detection head to the teacher’s detection head. The resulting cross-head predictions are then forced to mimic the teacher’s predictions. This manner relieves the student’s head from receiving contradictory supervision signals from the annotations and the teacher’s predictions, greatly improving the student’s detection performance. Moreover, as mimicking the teacher’s predictions is the target of KD, CrossKD offers more task-oriented information in contrast with feature imitation. On MS COCO, with only prediction mimicking losses applied, our CrossKD boosts the average precision of GFL ResNet-50 with 1x training schedule from 40.2 to 43.7, outperforming all existing KD methods. In addition, our method also works well when distilling detectors with heterogeneous backbones. Code is available at https://github.com/jbwang1997/CrossKD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google