DETRs with Hybrid Matching

要約

1 対 1 のセット マッチングは、DETR がエンドツーエンドの機能を確立するための重要な設計です。これにより、オブジェクト検出では、重複した検出を削除するために手作りされた NMS (非最大抑制) が必要なくなります。
このエンドツーエンドのシグネチャは DETR の多用途性にとって重要であり、より広範な視野のタスクに一般化されています。
ただし、ポジティブ サンプルとして割り当てられるクエリはほとんどなく、1 対 1 のセット マッチングによりポジティブ サンプルのトレーニング効果が大幅に低下することに注意してください。
トレーニング中に元の 1 対 1 マッチング ブランチと補助的な 1 対多マッチング ブランチを組み合わせるハイブリッド マッチング スキームに基づいた、シンプルかつ効果的な方法を提案します。
私たちのハイブリッド戦略により、精度が大幅に向上することが証明されています。
推論では、元の 1 対 1 一致ブランチのみが使用されるため、エンドツーエンドのメリットと DETR の同じ推論効率が維持されます。
この手法は H-DETR と名付けられており、DeformableDETR、PETRv2、PETR、TransTrack など、幅広い視覚タスクにわたって幅広い代表的な DETR 手法を一貫して改善できることを示しています。
コードは https://github.com/HDETR から入手できます。

要約(オリジナル)

One-to-one set matching is a key design for DETR to establish its end-to-end capability, so that object detection does not require a hand-crafted NMS (non-maximum suppression) to remove duplicate detections. This end-to-end signature is important for the versatility of DETR, and it has been generalized to broader vision tasks. However, we note that there are few queries assigned as positive samples and the one-to-one set matching significantly reduces the training efficacy of positive samples. We propose a simple yet effective method based on a hybrid matching scheme that combines the original one-to-one matching branch with an auxiliary one-to-many matching branch during training. Our hybrid strategy has been shown to significantly improve accuracy. In inference, only the original one-to-one match branch is used, thus maintaining the end-to-end merit and the same inference efficiency of DETR. The method is named H-DETR, and it shows that a wide range of representative DETR methods can be consistently improved across a wide range of visual tasks, including DeformableDETR, PETRv2, PETR, and TransTrack, among others. The code is available at: https://github.com/HDETR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google