IDa-Det: An Information Discrepancy-aware Distillation for 1-bit Detectors

要約

知識蒸留 (KD) は、コンパクト オブジェクト検出モデルのトレーニングに役立つことが証明されています。
ただし、教師モデルと学生のカウンターパートが同様の提案情報を共有する場合、KD はしばしば効果的であることがわかります。
これは、既存の KD 法が 1 ビット検出器に対してあまり効果的でない理由を説明しています。これは、実数値の教師と 1 ビット生徒の間の重大な情報の不一致によって引き起こされます。
このホワイト ペーパーでは、情報不一致を効果的に排除し、1 ビット検出器とその実数値検出器との間のパフォーマンス ギャップを大幅に削減できる 1 ビット検出器を抽出するための情報不一致認識戦略 (IDa-Det) を紹介します。
蒸留プロセスをバイレベル最適化定式化として定式化します。
内部レベルでは、情報の不一致が最大の代表的な提案を選択します。
次に、選択した提案に基づいて格差を縮小するために、新しいエントロピー蒸留損失を導入します。
広範な実験により、PASCAL VOC と COCO データセットの両方で、最先端の 1 ビット検出器と KD 法に対する IDa-Det の優位性が実証されました。
IDa-Det は、ResNet-18 バックボーンを備えた 1 ビット Faster-RCNN で 76.9% の mAP を達成します。
私たちのコードは、https://github.com/SteveTsui/IDa-Det でオープンソース化されています。

要約(オリジナル)

Knowledge distillation (KD) has been proven to be useful for training compact object detection models. However, we observe that KD is often effective when the teacher model and student counterpart share similar proposal information. This explains why existing KD methods are less effective for 1-bit detectors, caused by a significant information discrepancy between the real-valued teacher and the 1-bit student. This paper presents an Information Discrepancy-aware strategy (IDa-Det) to distill 1-bit detectors that can effectively eliminate information discrepancies and significantly reduce the performance gap between a 1-bit detector and its real-valued counterpart. We formulate the distillation process as a bi-level optimization formulation. At the inner level, we select the representative proposals with maximum information discrepancy. We then introduce a novel entropy distillation loss to reduce the disparity based on the selected proposals. Extensive experiments demonstrate IDa-Det’s superiority over state-of-the-art 1-bit detectors and KD methods on both PASCAL VOC and COCO datasets. IDa-Det achieves a 76.9% mAP for a 1-bit Faster-RCNN with ResNet-18 backbone. Our code is open-sourced on https://github.com/SteveTsui/IDa-Det.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google