Teach-DETR: Better Training DETR with Teachers

要約

この論文では、新しいトレーニングスキーム、つまりTeach-DETRを提示して、多用途の教師検出器からより優れたDETRベースの検出器を学習します。
教師検出器からの予測ボックスは、RCNN ベースまたは DETR ベースの検出器のいずれかである教師検出器の知識を転送して、より正確で堅牢な DETR モデルをトレーニングするための効果的な媒体であることを示します。
この新しいトレーニング スキームは、複数の教師検出器から予測されたボックスを簡単に組み込むことができ、それぞれが生徒の DETR に並行して監督を提供します。
私たちの戦略は、追加のパラメーターを導入せず、トレーニング中に元の検出器にごくわずかな計算コストを追加します。
推論中、Teach-DETR は追加のオーバーヘッドを発生させず、非最大抑制を必要としないというメリットを維持します。
広範な実験により、私たちの方法がさまざまなDETRベースの検出器の一貫した改善につながることが示されています。
具体的には、Swin-Large バックボーン、4 スケールの特徴マップ、36 エポックのトレーニング スケジュールを備えた最先端の検出器 DINO を、MSCOCO 2017 検証セットの平均精度で 57.8% から 58.9% に改善します。
コードは https://github.com/LeonHLJ/Teach-DETR で入手できます。

要約(オリジナル)

In this paper, we present a novel training scheme, namely Teach-DETR, to learn better DETR-based detectors from versatile teacher detectors. We show that the predicted boxes from teacher detectors are effective medium to transfer knowledge of teacher detectors, which could be either RCNN-based or DETR-based detectors, to train a more accurate and robust DETR model. This new training scheme can easily incorporate the predicted boxes from multiple teacher detectors, each of which provides parallel supervisions to the student DETR. Our strategy introduces no additional parameters and adds negligible computational cost to the original detector during training. During inference, Teach-DETR brings zero additional overhead and maintains the merit of requiring no non-maximum suppression. Extensive experiments show that our method leads to consistent improvement for various DETR-based detectors. Specifically, we improve the state-of-the-art detector DINO with Swin-Large backbone, 4 scales of feature maps and 36-epoch training schedule, from 57.8% to 58.9% in terms of mean average precision on MSCOCO 2017 validation set. Code will be available at https://github.com/LeonHLJ/Teach-DETR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google