Dense Distinct Query for End-to-End Object Detection

要約

物体検出における 1 対 1 のラベル割り当てにより、後処理としての非最大抑制 (NMS) の必要性が回避され、パイプラインがエンドツーエンドになります。
ただし、広く使用されている疎なクエリでは高い再現率を保証できない一方、密なクエリでは必然的により類似したクエリが発生し、最適化の困難に直面するため、新たなジレンマが生じます。
疎クエリと密クエリの両方に問題があるため、エンドツーエンドのオブジェクト検出ではどのようなクエリが予想されるのでしょうか?
このペーパーでは、その解決策が Dense Distinct Queries (DDQ) であるべきであることを示しています。
具体的には、まず従来の検出器のように高密度のクエリを配置し、次に 1 対 1 の割り当てのために個別のクエリを選択します。
DDQ は、従来のエンドツーエンド検出器と最近のエンドツーエンド検出器の利点を融合し、FCN、R-CNN、DETR などのさまざまな検出器のパフォーマンスを大幅に向上させます。
最も印象的なのは、DDQ-DETR が ResNet-50 バックボーンを使用して 12 エポック以内に MS-COCO データセット上で 52.1 AP を達成し、同じ設定の既存のすべての検出器を上回っていることです。
DDQ は、混雑したシーンでもエンドツーエンドの検出器の利点を共有し、CrowdHuman で 93.8 AP を達成します。
私たちは、DDQ が研究者に従来の手法とエンドツーエンドの検出器の間の相補性を検討するきっかけになれば幸いです。
ソース コードは \url{https://github.com/jshilong/DDQ} にあります。

要約(オリジナル)

One-to-one label assignment in object detection has successfully obviated the need for non-maximum suppression (NMS) as postprocessing and makes the pipeline end-to-end. However, it triggers a new dilemma as the widely used sparse queries cannot guarantee a high recall, while dense queries inevitably bring more similar queries and encounter optimization difficulties. As both sparse and dense queries are problematic, then what are the expected queries in end-to-end object detection? This paper shows that the solution should be Dense Distinct Queries (DDQ). Concretely, we first lay dense queries like traditional detectors and then select distinct ones for one-to-one assignments. DDQ blends the advantages of traditional and recent end-to-end detectors and significantly improves the performance of various detectors including FCN, R-CNN, and DETRs. Most impressively, DDQ-DETR achieves 52.1 AP on MS-COCO dataset within 12 epochs using a ResNet-50 backbone, outperforming all existing detectors in the same setting. DDQ also shares the benefit of end-to-end detectors in crowded scenes and achieves 93.8 AP on CrowdHuman. We hope DDQ can inspire researchers to consider the complementarity between traditional methods and end-to-end detectors. The source code can be found at \url{https://github.com/jshilong/DDQ}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google