Dense Distinct Query for End-to-End Object Detection

要約

オブジェクト検出における 1 対 1 のラベル割り当てにより、後処理としての非最大抑制 (NMS) の必要性がなくなり、パイプラインがエンドツーエンドになります。
ただし、広く使用されているスパース クエリは高い再現率を保証できないため、新たなジレンマが生じます。一方、密なクエリは必然的により類似したクエリをもたらし、最適化の問題に遭遇します。
まばらなクエリと密なクエリの両方に問題があるため、エンドツーエンドのオブジェクト検出で予想されるクエリは何ですか?
このホワイト ペーパーでは、ソリューションが Dense Distinct Query (DDQ) であるべきであることを示しています。
具体的には、最初に従来の検出器のように高密度のクエリを配置し、次に個別のクエリを選択して 1 対 1 の割り当てを行います。
DDQ は、従来のエンドツーエンド検出器と最近のエンドツーエンド検出器の利点を融合し、FCN、R-CNN、DETR などのさまざまな検出器のパフォーマンスを大幅に向上させます。
最も印象的なのは、DDQ-DETR が ResNet-50 バックボーンを使用して 12 エポック以内に MS-COCO データセットで 52.1 AP を達成し、同じ設定で既存のすべての検出器を上回っていることです。
DDQ はまた、混雑したシーンでエンドツーエンドの検出器の利点を共有し、CrowdHuman で 93.8 AP を達成しています。
DDQ が、研究者が従来の方法とエンドツーエンドの検出器との間の補完性を検討するきっかけになることを願っています。
ソース コードは \url{https://github.com/jshilong/DDQ} にあります。

要約(オリジナル)

One-to-one label assignment in object detection has successfully obviated the need for non-maximum suppression (NMS) as postprocessing and makes the pipeline end-to-end. However, it triggers a new dilemma as the widely used sparse queries cannot guarantee a high recall, while dense queries inevitably bring more similar queries and encounter optimization difficulties. As both sparse and dense queries are problematic, then what are the expected queries in end-to-end object detection? This paper shows that the solution should be Dense Distinct Queries (DDQ). Concretely, we first lay dense queries like traditional detectors and then select distinct ones for one-to-one assignments. DDQ blends the advantages of traditional and recent end-to-end detectors and significantly improves the performance of various detectors including FCN, R-CNN, and DETRs. Most impressively, DDQ-DETR achieves 52.1 AP on MS-COCO dataset within 12 epochs using a ResNet-50 backbone, outperforming all existing detectors in the same setting. DDQ also shares the benefit of end-to-end detectors in crowded scenes and achieves 93.8 AP on CrowdHuman. We hope DDQ can inspire researchers to consider the complementarity between traditional methods and end-to-end detectors. The source code can be found at \url{https://github.com/jshilong/DDQ}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google