Foreground Guidance and Multi-Layer Feature Fusion for Unsupervised Object Discovery with Transformers

要約

教師なしオブジェクト検出 (UOD) は、事前トレーニング済みの Transformer 機能の採用により、有望な進歩を示しています。
ただし、トランスフォーマーに基づく現在の方法は、主にローカリゼーション ヘッドの設計 (シード選択拡張や正規化されたカットなど) に焦点を当てており、トランスフォーマー機能の改善の重要性を見落としています。
この作業では、機能拡張の観点から UOD タスクを処理し、FOReground ガイダンスと、FORMULA と呼ばれる教師なしオブジェクト発見のための多層機能融合を提案します。
まず、既製の UOD 検出器を使用してフォアグラウンド ガイダンス戦略を提示し、フィーチャ マップ上のフォアグラウンド領域を強調表示してから、反復的にオブジェクトの位置を絞り込みます。
さらに、オブジェクト検出におけるスケール変動の問題を解決するために、さまざまなスケールでオブジェクトに応答する機能を集約する多層機能融合モジュールを設計します。
VOC07、VOC12、および COCO 20k での実験は、提案された FORMULA が教師なしオブジェクトの発見で新しい最先端の結果を達成することを示しています。
コードは https://github.com/VDIGPKU/FORMULA で公開されます。

要約(オリジナル)

Unsupervised object discovery (UOD) has recently shown encouraging progress with the adoption of pre-trained Transformer features. However, current methods based on Transformers mainly focus on designing the localization head (e.g., seed selection-expansion and normalized cut) and overlook the importance of improving Transformer features. In this work, we handle UOD task from the perspective of feature enhancement and propose FOReground guidance and MUlti-LAyer feature fusion for unsupervised object discovery, dubbed FORMULA. Firstly, we present a foreground guidance strategy with an off-the-shelf UOD detector to highlight the foreground regions on the feature maps and then refine object locations in an iterative fashion. Moreover, to solve the scale variation issues in object detection, we design a multi-layer feature fusion module that aggregates features responding to objects at different scales. The experiments on VOC07, VOC12, and COCO 20k show that the proposed FORMULA achieves new state-of-the-art results on unsupervised object discovery. The code will be released at https://github.com/VDIGPKU/FORMULA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google