DETRs with Hybrid Matching

要約

1対1のセットマッチングは、DETRがエンドツーエンドの機能を確立するための重要な設計であるため、オブジェクト検出では、重複する検出を削除するために手作りのNMS（非最大抑制）メソッドは必要ありません。
このエンドツーエンドの署名は、DETRの多様性にとって重要であり、インスタンス/セマンティックセグメンテーション、人間の姿勢推定、点群/マルチビュー画像ベースの検出など、さまざまな視覚問題に一般化されています。
ただし、ポジティブサンプルとして割り当てられたクエリが少なすぎるため、1対1のセットマッチングにより、ポジティブサンプルのトレーニング効率が大幅に低下することに注意してください。
この論文では、元の1対1のマッチングブランチと、トレーニング中に1対多のマッチング損失を使用する補助クエリを組み合わせたハイブリッドマッチングスキームに基づく、シンプルで効果的な方法を提案します。
このハイブリッド戦略は、トレーニングの効率と精度を大幅に向上させることが示されています。
推論では、元の1対1の一致ブランチのみが使用されるため、エンドツーエンドのメリットとDETRと同じ推論効率が維持されます。
このメソッドの名前は$\mathcal {H} $-DETRであり、Deformable-DETR、3DETR / PETRv2、PETR、TransTrackなど、さまざまな視覚的タスクにわたって、さまざまな代表的なDETRメソッドを一貫して改善できることを示しています。
、とりわけ。
コードはhttps://github.com/HDETRで入手できます。

要約(オリジナル)

One-to-one set matching is a key design for DETR to establish its end-to-end capability, so that object detection does not require a hand-crafted NMS (non-maximum suppression) method to remove duplicate detections. This end-to-end signature is important for the versatility of DETR, and it has been generalized to a wide range of visual problems, including instance/semantic segmentation, human pose estimation, and point cloud/multi-view-images based detection, etc. However, we note that because there are too few queries assigned as positive samples, the one-to-one set matching significantly reduces the training efficiency of positive samples. This paper proposes a simple yet effective method based on a hybrid matching scheme that combines the original one-to-one matching branch with auxiliary queries that use one-to-many matching loss during training. This hybrid strategy has been shown to significantly improve training efficiency and improve accuracy. In inference, only the original one-to-one match branch is used, thus maintaining the end-to-end merit and the same inference efficiency of DETR. The method is named $\mathcal{H}$-DETR, and it shows that a wide range of representative DETR methods can be consistently improved across a wide range of visual tasks, including Deformable-DETR, 3DETR/PETRv2, PETR, and TransTrack, among others. Code will be available at: https://github.com/HDETR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google