Group DETR: Fast DETR Training with Group-Wise One-to-Many Assignment

要約

検出トランスフォーマー (DETR) は、1 対 1 の割り当てに依存しています。つまり、1 つのグラウンド トゥルース オブジェクトを 1 つのポジティブ オブジェクト クエリのみに割り当てて、エンド ツー エンドのオブジェクト検出を行い、複数のポジティブ オブジェクト クエリを利用する機能がありません。
グループごとの 1 対多の割り当てをサポートするために、{\em Group DETR} という名前の新しい DETR トレーニング アプローチを紹介します。
トレーニング中に簡単な変更を行います。(i) オブジェクト クエリの $K$ グループを採用します。
(ii) 同じパラメータを持つオブジェクト クエリの各グループに対して、デコーダの自己注意を実行します。
(iii) 各グループに対して 1 対 1 のラベル割り当てを実行し、各グラウンド トゥルース オブジェクトに対して $K$ のポジティブ オブジェクト クエリを導きます。
推論では、オブジェクト クエリの 1 つのグループのみを使用し、DETR アーキテクチャとプロセスを変更しません。
条件付き DETR、DAB-DETR、DN-DETR、DINO などの DETR バリアントに対する提案されたアプローチの有効性を検証します。
コードが利用可能になります。

要約(オリジナル)

Detection Transformer (DETR) relies on One-to-One assignment, i.e., assigning one ground-truth object to only one positive object query, for end-to-end object detection and lacks the capability of exploiting multiple positive object queries. We present a novel DETR training approach, named {\em Group DETR}, to support Group-wise One-to-Many assignment. We make simple modifications during training: (i) adopt $K$ groups of object queries; (ii) conduct decoder self-attention on each group of object queries with the same parameters; (iii) perform One-to-One label assignment for each group, leading to $K$ positive object queries for each ground-truth object. In inference, we only use one group of object queries, making no modifications to DETR architecture and processes. We validate the effectiveness of the proposed approach on DETR variants, including Conditional DETR, DAB-DETR, DN-DETR, and DINO. Code will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google