Masked Distillation with Receptive Tokens

要約

特徴マップから抽出することは、特徴の識別可能性とローカリゼーションの事前分布の両方を適切に転送できるため、密な予測タスクにはかなり効果的です。
ただし、すべてのピクセルがパフォーマンスに均等に寄与するわけではありません。優れた生徒は、教師にとって本当に重要なことから学ぶ必要があります。
この論文では、ピクセル単位の注意によって生成された蒸留マスクを使用して、特徴マップ内の関心のあるピクセル (PoI) をローカライズするために、学習可能な埋め込みと呼ばれる受容トークンを導入します。
次に、ピクセル単位の再構成を介してマスクに対して蒸留が実行されます。
このように、蒸留マスクは、教師の特徴マップ内のピクセル依存関係のパターンを実際に示します。
したがって、複数の受容トークンを採用して、より洗練された有益なピクセルの依存関係を調査し、蒸留をさらに強化します。
マスクのグループを取得するために、受容トークンは通常のタスク損失によって学習されますが、教師は固定されています。また、ダイス損失を活用して、学習したマスクの多様性を豊かにします。
MasKD と呼ばれる私たちの方法は、シンプルで実用的であり、アプリケーションにタスクの前もって必要ありません。
実験では、オブジェクト検出とセマンティック セグメンテーションのベンチマークで、MasKD が一貫して最先端のパフォーマンスを達成できることが示されています。
コードは https://github.com/hunto/MasKD で入手できます。

要約(オリジナル)

Distilling from the feature maps can be fairly effective for dense prediction tasks since both the feature discriminability and localization priors can be well transferred. However, not every pixel contributes equally to the performance, and a good student should learn from what really matters to the teacher. In this paper, we introduce a learnable embedding dubbed receptive token to localize those pixels of interests (PoIs) in the feature map, with a distillation mask generated via pixel-wise attention. Then the distillation will be performed on the mask via pixel-wise reconstruction. In this way, a distillation mask actually indicates a pattern of pixel dependencies within feature maps of teacher. We thus adopt multiple receptive tokens to investigate more sophisticated and informative pixel dependencies to further enhance the distillation. To obtain a group of masks, the receptive tokens are learned via the regular task loss but with teacher fixed, and we also leverage a Dice loss to enrich the diversity of learned masks. Our method dubbed MasKD is simple and practical, and needs no priors of tasks in application. Experiments show that our MasKD can achieve state-of-the-art performance consistently on object detection and semantic segmentation benchmarks. Code is available at: https://github.com/hunto/MasKD .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google