Structural Knowledge Distillation for Object Detection

要約

Knowledge Distillation (KD) は、大規模な教師モデルによって取得された知識が小規模な生徒に転送される、ディープ ニューラル ネットワークにおけるよく知られたトレーニング パラダイムです。
KD は、物体検出を含むさまざまなタスクの学生のパフォーマンスを大幅に向上させる効果的な手法であることが証明されています。
そのため、KD 手法は主に中間機能レベルでのガイダンスに依存しています。これは通常、トレーニング中に教師と生徒のアクティベーション間の lp ノルム距離を最小化することによって実装されます。
この論文では、構造的類似性 (SSIM) に基づいて、ピクセルごとに独立した lp ノルムの代替を提案します。
追加のコントラストと構造の手がかりを考慮に入れることにより、特徴の重要性、相関、および特徴空間の空間依存性が損失の定式化で考慮されます。
MSCOCO での広範な実験により、さまざまなトレーニング スキームとアーキテクチャでの方法の有効性が実証されています。
私たちの方法は、計算オーバーヘッドをほとんど追加せず、実装が簡単であると同時に、標準の lp ノルムよりも大幅に優れています。
さらに、アテンション ベースのサンプリング メカニズムを使用するより複雑な最先端の KD メソッドは、通常のモデルと比較して Faster R-CNN R-50 を使用した +3.5 AP ゲインなど、優れたパフォーマンスを発揮します。

要約(オリジナル)

Knowledge Distillation (KD) is a well-known training paradigm in deep neural networks where knowledge acquired by a large teacher model is transferred to a small student. KD has proven to be an effective technique to significantly improve the student’s performance for various tasks including object detection. As such, KD techniques mostly rely on guidance at the intermediate feature level, which is typically implemented by minimizing an lp-norm distance between teacher and student activations during training. In this paper, we propose a replacement for the pixel-wise independent lp-norm based on the structural similarity (SSIM). By taking into account additional contrast and structural cues, feature importance, correlation and spatial dependence in the feature space are considered in the loss formulation. Extensive experiments on MSCOCO demonstrate the effectiveness of our method across different training schemes and architectures. Our method adds only little computational overhead, is straightforward to implement and at the same time it significantly outperforms the standard lp-norms. Moreover, more complex state-of-the-art KD methods using attention-based sampling mechanisms are outperformed, including a +3.5 AP gain using a Faster R-CNN R-50 compared to a vanilla model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google