DEYOv2: Rank Feature with Greedy Matching for End-to-End Object Detection

要約

本稿では、第一世代のDEYO（DETR with YOLO）モデルの改良版である、DEYOv2と呼ばれる新しい物体検出器を紹介する。DEYOv2はその前身と同様に、モデル学習を加速し性能を向上させるために漸進的推論アプローチを採用している。この研究では、最適化における一対一マッチングの限界を掘り下げ、ランク・フィーチャーやグリーディ・マッチングなど、この問題に効果的に対処する解決策を提案している。このアプローチにより、DEYOv2の第3ステージは、NMSを必要とすることなく、第1ステージと第2ステージからの情報取得を最大化し、エンドツーエンドの最適化を達成することができる。密なクエリ、疎なクエリ、一対多のマッチング、一対一のマッチングを組み合わせることで、DEYOv2はそれぞれの手法の利点を活用している。DEYOv2は、同じ設定のもとで、既存のすべてのクエリベースのエンド・ツー・エンド検出器を凌駕する。ResNet-50をバックボーンとし、COCOデータセット上でマルチスケール特徴量を使用した場合、DEYOv2は12エポックと24エポックでそれぞれ51.1APと51.8APを達成した。エンドツーエンドモデルDINOと比較して、DEYOv2は2つのエポック設定で2.1APと1.4APの大幅な性能向上を実現する。我々の知る限り、DEYOv2は古典的な検出器とクエリベースの検出器のそれぞれの長所を組み合わせた、初の完全なエンドツーエンド物体検出器である。

要約(オリジナル)

This paper presents a novel object detector called DEYOv2, an improved version of the first-generation DEYO (DETR with YOLO) model. DEYOv2, similar to its predecessor, DEYOv2 employs a progressive reasoning approach to accelerate model training and enhance performance. The study delves into the limitations of one-to-one matching in optimization and proposes solutions to effectively address the issue, such as Rank Feature and Greedy Matching. This approach enables the third stage of DEYOv2 to maximize information acquisition from the first and second stages without needing NMS, achieving end-to-end optimization. By combining dense queries, sparse queries, one-to-many matching, and one-to-one matching, DEYOv2 leverages the advantages of each method. It outperforms all existing query-based end-to-end detectors under the same settings. When using ResNet-50 as the backbone and multi-scale features on the COCO dataset, DEYOv2 achieves 51.1 AP and 51.8 AP in 12 and 24 epochs, respectively. Compared to the end-to-end model DINO, DEYOv2 provides significant performance gains of 2.1 AP and 1.4 AP in the two epoch settings. To the best of our knowledge, DEYOv2 is the first fully end-to-end object detector that combines the respective strengths of classical detectors and query-based detectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL