SimDETR: Simplifying self-supervised pretraining for DETR

要約

DETR ベースの物体検出器は顕著な性能を達成していますが、サンプル効率が低く、収束が遅いです。
教師なし事前トレーニングは、これらの障害を軽減するのに役立つことがわかっており、大量のラベルなしデータを使用してトレーニングして検出器のパフォーマンスを向上させることができます。
ただし、既存の方法には、パフォーマンスの低下を避けるために検出器のバックボーンをフリーズしたままにしたり、下流のタスクとずれた事前トレーニング目標を利用したりするなど、独自の制限があります。
これらの制限を克服するために、我々は、3 つのシンプルだが重要な要素で構成される DETR ベースの検出器用のシンプルな事前トレーニング フレームワークを提案します: (i) 高レベルの特徴マップから派生した、より豊富なセマンティクス ベースの初期提案、(ii) オブジェクトを使用した識別トレーニング
クラスタリングによって生成された擬似ラベル、(iii) 検出器によって学習された改善されたオブジェクト提案を利用するための自己トレーニング。
我々は 2 つの主な発見を報告します: (1) 私たちの事前トレーニングは、完全なデータ体制と低データ体制の両方で以前の DETR 事前トレーニング作業を大幅に上回りました。
(2) COCO のような複雑な画像データセット上で DETR を最初から (バックボーンを含む) 直接事前学習できることを示し、DETR を直接使用した教師なし表現学習への道を開きます。

要約(オリジナル)

DETR-based object detectors have achieved remarkable performance but are sample-inefficient and exhibit slow convergence. Unsupervised pretraining has been found to be helpful to alleviate these impediments, allowing training with large amounts of unlabeled data to improve the detector’s performance. However, existing methods have their own limitations, like keeping the detector’s backbone frozen in order to avoid performance degradation and utilizing pretraining objectives misaligned with the downstream task. To overcome these limitations, we propose a simple pretraining framework for DETR-based detectors that consists of three simple yet key ingredients: (i) richer, semantics-based initial proposals derived from high-level feature maps, (ii) discriminative training using object pseudo-labels produced via clustering, (iii) self-training to take advantage of the improved object proposals learned by the detector. We report two main findings: (1) Our pretraining outperforms prior DETR pretraining works on both the full and low data regimes by significant margins. (2) We show we can pretrain DETR from scratch (including the backbone) directly on complex image datasets like COCO, paving the path for unsupervised representation learning directly using DETR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google