Smooth and Stepwise Self-Distillation for Object Detection

要約

特徴マップでキャプチャされた構造化情報を抽出することは、物体検出タスクの結果の向上に貢献しましたが、ベースライン アーキテクチャの慎重な選択と十分な事前トレーニングが必要です。
自己蒸留はこれらの制限に対処し、いくつかの簡素化されたアーキテクチャ上の前提を設けているにもかかわらず、最近、物体検出に関して最先端のパフォーマンスを達成しました。
この研究に基づいて、物体検出のためのスムーズで段階的な自己蒸留 (SSSD) を提案します。
当社の SSSD アーキテクチャは、オブジェクト ラベルと特徴ピラミッド ネットワーク バックボーンから暗黙的な教師を形成し、Jensen-Shannon 距離を使用してラベルアノテーション付き特徴マップを抽出します。これは、以前の研究で使用されていた蒸留損失よりもスムーズです。
さらに、学習率に基づいて適応的に構成された蒸留係数を追加します。
私たちは、COCO データセット上のベースラインと 2 つの最先端の物体検出器アーキテクチャに対して、係数とバックボーンと検出器ネットワークを変更することで、SSSD のベンチマークを広範囲に実施しました。
SSSD がほとんどの実験設定でより高い平均精度を達成し、広範囲の係数に対して堅牢であり、段階的蒸留手順の恩恵を受けることを実証します。

要約(オリジナル)

Distilling the structured information captured in feature maps has contributed to improved results for object detection tasks, but requires careful selection of baseline architectures and substantial pre-training. Self-distillation addresses these limitations and has recently achieved state-of-the-art performance for object detection despite making several simplifying architectural assumptions. Building on this work, we propose Smooth and Stepwise Self-Distillation (SSSD) for object detection. Our SSSD architecture forms an implicit teacher from object labels and a feature pyramid network backbone to distill label-annotated feature maps using Jensen-Shannon distance, which is smoother than distillation losses used in prior work. We additionally add a distillation coefficient that is adaptively configured based on the learning rate. We extensively benchmark SSSD against a baseline and two state-of-the-art object detector architectures on the COCO dataset by varying the coefficients and backbone and detector networks. We demonstrate that SSSD achieves higher average precision in most experimental settings, is robust to a wide range of coefficients, and benefits from our stepwise distillation procedure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google