MOVE: Unsupervised Movable Object Segmentation and Detection

要約

MOVE は、監視なしでオブジェクトをセグメント化する新しい方法です。
MOVE は、前景オブジェクトを初期位置に対してローカルに移動できるという事実を利用して、現実的な (歪みのない) 新しい画像を生成します。
このプロパティにより、注釈なしで画像のデータセットでセグメンテーション モデルをトレーニングし、監視されていない顕著なオブジェクトの検出とセグメンテーションのためにいくつかの評価データセットで最先端の (SotA) パフォーマンスを実現できます。
教師なしの単一オブジェクト検出では、MOVE は SotA より平均 7.2% の CorLoc の改善をもたらし、教師なしのクラスに依存しないオブジェクト検出では、平均で 53% の相対的な AP の改善をもたらします。
私たちのアプローチは、自己監視機能 (DINO や MAE など)、修復ネットワーク (Masked AutoEncoder に基づく)、および敵対的トレーニングの上に構築されています。

要約(オリジナル)

We introduce MOVE, a novel method to segment objects without any form of supervision. MOVE exploits the fact that foreground objects can be shifted locally relative to their initial position and result in realistic (undistorted) new images. This property allows us to train a segmentation model on a dataset of images without annotation and to achieve state of the art (SotA) performance on several evaluation datasets for unsupervised salient object detection and segmentation. In unsupervised single object discovery, MOVE gives an average CorLoc improvement of 7.2% over the SotA, and in unsupervised class-agnostic object detection it gives a relative AP improvement of 53% on average. Our approach is built on top of self-supervised features (e.g. from DINO or MAE), an inpainting network (based on the Masked AutoEncoder) and adversarial training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google