What Are Expected Queries in End-to-End Object Detection?

要約

DETRの出現後、エンドツーエンドのオブジェクト検出は急速に進歩しています。
DETRは、ほとんどの従来の検出器の密な候補ボックスを置き換える一連の疎なクエリを使用します。
それに比べて、スパースクエリは密な事前分布として高いリコールを保証することはできません。
ただし、現在のフレームワークでは、クエリを高密度にすることは簡単ではありません。
計算コストが高いだけでなく、最適化も困難です。
スパースクエリとデンスクエリはどちらも不完全であるため、\ emph {エンドツーエンドのオブジェクト検出で予想されるクエリは何ですか？}
このホワイトペーパーでは、予想されるクエリはDense Distinct Queries（DDQ）である必要があることを示しています。
具体的には、密なクエリを生成するために、密な事前情報をフレームワークに戻します。
重複するクエリ削除の前処理がこれらのクエリに適用され、互いに区別できるようになります。
次に、密な個別のクエリが繰り返し処理され、最終的なまばらな出力が取得されます。
DDQがより強く、より堅牢で、より速く収束することを示します。
わずか12エポックのMSCOCO検出データセットで44.5APを取得します。
DDQは、さまざまなデータセットでのオブジェクト検出タスクとインスタンスセグメンテーションタスクの両方で以前の方法よりも優れているため、堅牢でもあります。
DDQは、従来の高密度の事前検出器と最近のエンドツーエンド検出器の利点を組み合わせています。
これが新しいベースラインとして機能し、研究者が従来の方法とエンドツーエンドの検出器の間の相補性を再検討するきっかけとなることを願っています。
ソースコードは\url{https://github.com/jshilong/DDQ}で公開されています。

要約(オリジナル)

End-to-end object detection is rapidly progressed after the emergence of DETR. DETRs use a set of sparse queries that replace the dense candidate boxes in most traditional detectors. In comparison, the sparse queries cannot guarantee a high recall as dense priors. However, making queries dense is not trivial in current frameworks. It not only suffers from heavy computational cost but also difficult optimization. As both sparse and dense queries are imperfect, then \emph{what are expected queries in end-to-end object detection}? This paper shows that the expected queries should be Dense Distinct Queries (DDQ). Concretely, we introduce dense priors back to the framework to generate dense queries. A duplicate query removal pre-process is applied to these queries so that they are distinguishable from each other. The dense distinct queries are then iteratively processed to obtain final sparse outputs. We show that DDQ is stronger, more robust, and converges faster. It obtains 44.5 AP on the MS COCO detection dataset with only 12 epochs. DDQ is also robust as it outperforms previous methods on both object detection and instance segmentation tasks on various datasets. DDQ blends advantages from traditional dense priors and recent end-to-end detectors. We hope it can serve as a new baseline and inspires researchers to revisit the complementarity between traditional methods and end-to-end detectors. The source code is publicly available at \url{https://github.com/jshilong/DDQ}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google