Prediction-Guided Distillation for Dense Object Detection

要約

実際のオブジェクト検出モデルは、安価で正確である必要があります。
知識蒸留（KD）は、より大きな教師モデルからの有用な情報を活用することにより、小さくて安価な検出モデルの精度を高めることができます。
ただし、重要な課題は、蒸留のために教師が作成した最も有益な機能を特定することです。
この作業では、グラウンドトゥルースバウンディングボックス内の機能のごく一部のみが、教師の高い検出パフォーマンスの原因であることを示します。
これに基づいて、予測ガイド蒸留（PGD）を提案します。これは、教師のこれらの主要な予測領域に蒸留を集中させ、多くの既存のKDベースラインよりもパフォーマンスを大幅に向上させます。
さらに、主要な領域に適応型の重み付けスキームを提案して、それらの影響を滑らかにし、さらに優れたパフォーマンスを実現します。
私たちが提案するアプローチは、さまざまな高度な1ステージ検出アーキテクチャで現在の最先端のKDベースラインを上回っています。
具体的には、COCOデータセットでは、ResNet-101とResNet-50を教師と生徒のバックボーンとしてそれぞれ使用して、+ 3.1％から+ 4.6％のAP改善を達成しています。
CrowdHumanデータセットでは、これらのバックボーンを使用して、MRとAPで+ 3.2％と+ 2.0％の改善を達成しています。
私たちのコードはhttps://github.com/ChenhongyiYang/PGDで入手できます。

要約(オリジナル)

Real-world object detection models should be cheap and accurate. Knowledge distillation (KD) can boost the accuracy of a small, cheap detection model by leveraging useful information from a larger teacher model. However, a key challenge is identifying the most informative features produced by the teacher for distillation. In this work, we show that only a very small fraction of features within a ground-truth bounding box are responsible for a teacher’s high detection performance. Based on this, we propose Prediction-Guided Distillation (PGD), which focuses distillation on these key predictive regions of the teacher and yields considerable gains in performance over many existing KD baselines. In addition, we propose an adaptive weighting scheme over the key regions to smooth out their influence and achieve even better performance. Our proposed approach outperforms current state-of-the-art KD baselines on a variety of advanced one-stage detection architectures. Specifically, on the COCO dataset, our method achieves between +3.1% and +4.6% AP improvement using ResNet-101 and ResNet-50 as the teacher and student backbones, respectively. On the CrowdHuman dataset, we achieve +3.2% and +2.0% improvements in MR and AP, also using these backbones. Our code is available at https://github.com/ChenhongyiYang/PGD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google