AMD: Adaptive Masked Distillation for Object

要約

一般的なモデル圧縮パラダイムとして、機能ベースの知識の蒸留により、学生モデルは教師の対応するモデルから表現機能を学習できます。
この論文では、主に効果的な特徴抽出フレームワークの設計に焦点を当て、オブジェクト検出のための空間チャネル適応マスク蒸留 (AMD) ネットワークを提案します。
より具体的には、重要な特徴領域を正確に再構築するために、最初にスチューデント ネットワークの特徴マップで注意誘導特徴マスキングを実行します。これにより、以前の方法のランダム マスキングではなく、空間適応特徴マスキングを介して重要な特徴を識別できます。
.
さらに、シンプルで効率的なモジュールを採用して、学生ネットワーク チャネルを適応させ、オブジェクトの認識と検出におけるモデル機能を向上させます。
以前の方法とは対照的に、より重要なオブジェクト認識機能は、提案されたネットワークから再構築して学習することができ、正確なオブジェクト検出に役立ちます。
経験的実験は、私たちの方法の優位性を示しています。提案された蒸留方法の助けを借りて、学生ネットワークは、RetinaNet、Cascade Mask-RCNN、RepPoints がそれぞれ
FGD や MGD を含む以前の最先端の蒸留法よりも優れたオブジェクト検出の教師フレームワーク。

要約(オリジナル)

As a general model compression paradigm, feature-based knowledge distillation allows the student model to learn expressive features from the teacher counterpart. In this paper, we mainly focus on designing an effective feature-distillation framework and propose a spatial-channel adaptive masked distillation (AMD) network for object detection. More specifically, in order to accurately reconstruct important feature regions, we first perform attention-guided feature masking on the feature map of the student network, such that we can identify the important features via spatially adaptive feature masking instead of random masking in the previous methods. In addition, we employ a simple and efficient module to allow the student network channel to be adaptive, improving its model capability in object perception and detection. In contrast to the previous methods, more crucial object-aware features can be reconstructed and learned from the proposed network, which is conducive to accurate object detection. The empirical experiments demonstrate the superiority of our method: with the help of our proposed distillation method, the student networks report 41.3\%, 42.4\%, and 42.7\% mAP scores when RetinaNet, Cascade Mask-RCNN and RepPoints are respectively used as the teacher framework for object detection, which outperforms the previous state-of-the-art distillation methods including FGD and MGD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google