AlignDet: Aligning Pre-training and Fine-tuning in Object Detection

要約

大規模な事前トレーニングの後に下流で微調整を行うというパラダイムは、さまざまな物体検出アルゴリズムで広く採用されています。
この論文では、既存の実践における事前トレーニングと微調整手順の間のデータ、モデル、タスクにおける不一致が、検出器のパフォーマンス、汎化能力、および収束速度を暗黙のうちに制限していることを明らかにします。
この目的を達成するために、我々は、不一致を軽減するためにさまざまな既存の検出器に適応できる統合事前トレーニング フレームワークである AlignDet を提案します。
AlignDet は、事前トレーニング プロセスを 2 つの段階 (イメージドメイン事前トレーニングとボックスドメイン事前トレーニング) に分離します。
イメージドメインの事前トレーニングは検出バックボーンを最適化して全体的な視覚的抽象化をキャプチャし、ボックスドメインの事前トレーニングはインスタンスレベルのセマンティクスとタスク認識概念を学習してバックボーンからパーツを初期化します。
自己監視型の事前トレーニング済みバックボーンを組み込むことで、教師なしパラダイムでさまざまな検出器のすべてのモジュールを事前トレーニングできます。
図 1 に示すように、広範な実験により、AlignDet が検出アルゴリズム、モデル バックボーン、データ設定、トレーニング スケジュールなどのさまざまなプロトコルにわたって大幅な改善を達成できることが実証されています。
たとえば、AlignDet は、より少ないエポックで FCOS を 5.3 mAP、RetinaNet を 2.1 mAP、Faster R-CNN を 3.3 mAP、DETR を 2.3 mAP 改善します。

要約(オリジナル)

The paradigm of large-scale pre-training followed by downstream fine-tuning has been widely employed in various object detection algorithms. In this paper, we reveal discrepancies in data, model, and task between the pre-training and fine-tuning procedure in existing practices, which implicitly limit the detector’s performance, generalization ability, and convergence speed. To this end, we propose AlignDet, a unified pre-training framework that can be adapted to various existing detectors to alleviate the discrepancies. AlignDet decouples the pre-training process into two stages, i.e., image-domain and box-domain pre-training. The image-domain pre-training optimizes the detection backbone to capture holistic visual abstraction, and box-domain pre-training learns instance-level semantics and task-aware concepts to initialize the parts out of the backbone. By incorporating the self-supervised pre-trained backbones, we can pre-train all modules for various detectors in an unsupervised paradigm. As depicted in Figure 1, extensive experiments demonstrate that AlignDet can achieve significant improvements across diverse protocols, such as detection algorithm, model backbone, data setting, and training schedule. For example, AlignDet improves FCOS by 5.3 mAP, RetinaNet by 2.1 mAP, Faster R-CNN by 3.3 mAP, and DETR by 2.3 mAP under fewer epochs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google