Adaptive Instance Distillation for Object Detection in Autonomous Driving

要約

近年、効率的なモデルを導出するために知識蒸留 (KD) が広く使用されています。
大規模な教師モデルを模倣することで、軽量の生徒モデルは同等のパフォーマンスをより効率的に達成できます。
ただし、ほとんどの既存の知識蒸留方法は、分類タスクに焦点を当てています。
限られた数の研究のみが、特に時間に敏感な自動運転シナリオで、知識の蒸留を物体検出に適用しています。
この論文では、知識蒸留のパフォーマンスを向上させるために、教師の知識を生徒に選択的に伝えるための適応インスタンス蒸留（AID）を提案します。
すべてのインスタンスを同等に扱う以前の KD メソッドとは異なり、AID は教師モデルの予測損失に基づいてインスタンスの蒸留重みを注意深く調整できます。
KITTI および COCO トラフィック データセットの実験を通じて、AID 手法の有効性を検証しました。
結果は、私たちの方法が最先端の注意誘導および非局所蒸留法の性能を向上させ、1 段検出器と 2 段検出器の両方でより良い蒸留結果を達成することを示しています。
ベースラインと比較して、AID は、1 段検出器と 2 段検出器でそれぞれ平均 2.7% と 2.1% の mAP 増加をもたらしました。
さらに、私たちの AID は、教師モデルのパフォーマンスを向上させるための自己蒸留にも役立つことが示されています。

要約(オリジナル)

In recent years, knowledge distillation (KD) has been widely used to derive efficient models. Through imitating a large teacher model, a lightweight student model can achieve comparable performance with more efficiency. However, most existing knowledge distillation methods are focused on classification tasks. Only a limited number of studies have applied knowledge distillation to object detection, especially in time-sensitive autonomous driving scenarios. In this paper, we propose Adaptive Instance Distillation (AID) to selectively impart teacher’s knowledge to the student to improve the performance of knowledge distillation. Unlike previous KD methods that treat all instances equally, our AID can attentively adjust the distillation weights of instances based on the teacher model’s prediction loss. We verified the effectiveness of our AID method through experiments on the KITTI and the COCO traffic datasets. The results show that our method improves the performance of state-of-the-art attention-guided and non-local distillation methods and achieves better distillation results on both single-stage and two-stage detectors. Compared to the baseline, our AID led to an average of 2.7% and 2.1% mAP increases for single-stage and two-stage detectors, respectively. Furthermore, our AID is also shown to be useful for self-distillation to improve the teacher model’s performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google