DN-DETR: Accelerate DETR Training by Introducing Query DeNoising

要約

この論文では、DETR (DEtection TRansformer) トレーニングを高速化するための新しいノイズ除去トレーニング方法を提示し、DETR のような方法の遅い収束の問題についての理解を深めます。
収束が遅いのは、初期のトレーニング段階で一貫性のない最適化目標を引き起こす 2 部グラフ マッチングの不安定性に起因することを示します。
この問題に対処するために、ハンガリーの損失を除いて、私たちの方法は、ノイズを含むグラウンド トゥルース バウンディング ボックスを Transformer デコーダーに追加でフィードし、モデルをトレーニングして元のボックスを再構築します。
私たちの方法は普遍的であり、数十行のコードを追加して顕著な改善を達成することにより、任意の DETR のような方法に簡単にプラグインできます。
その結果、DN-DETR は同じ設定で顕著な改善 ($+1.9$AP) をもたらし、DETR- の中で最高の結果 (AP $43.4$ と $48.6$ のトレーニングのエポックでそれぞれ $12$ と $50$) を達成します。
ResNet-$50$ バックボーンを使用したメソッドと同様です。
同じ設定でのベースラインと比較すると、DN-DETR は $50\%$ のトレーニング エポックで同等のパフォーマンスを達成します。
コードは \url{https://github.com/FengLi-ust/DN-DETR} で入手できます。

要約(オリジナル)

We present in this paper a novel denoising training method to speedup DETR (DEtection TRansformer) training and offer a deepened understanding of the slow convergence issue of DETR-like methods. We show that the slow convergence results from the instability of bipartite graph matching which causes inconsistent optimization goals in early training stages. To address this issue, except for the Hungarian loss, our method additionally feeds ground-truth bounding boxes with noises into Transformer decoder and trains the model to reconstruct the original boxes, which effectively reduces the bipartite graph matching difficulty and leads to a faster convergence. Our method is universal and can be easily plugged into any DETR-like methods by adding dozens of lines of code to achieve a remarkable improvement. As a result, our DN-DETR results in a remarkable improvement ($+1.9$AP) under the same setting and achieves the best result (AP $43.4$ and $48.6$ with $12$ and $50$ epochs of training respectively) among DETR-like methods with ResNet-$50$ backbone. Compared with the baseline under the same setting, DN-DETR achieves comparable performance with $50\%$ training epochs. Code is available at \url{https://github.com/FengLi-ust/DN-DETR}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google