Benchmarking and Analysis of Unsupervised Object Segmentation from Real-world Single Images

要約

この論文では、単一画像からの教師なしオブジェクトのセグメンテーションの問題を研究します。
新しいアルゴリズムを導入するのではなく、困難な現実世界の画像に対する既存の教師なしモデルの有効性を体系的に調査します。
まず、人間によるアノテーションが付けられたデータセットの外観とジオメトリにおける背景と前景のオブジェクトのバイアスの分布を定量的に測定するための 7 つの複雑さ要因を導入します。
これらの要因の助けを借りて、驚くことではないが、既存の教師なしモデルは、多数の単純な合成データセットで優れたパフォーマンスを容易に達成できるにもかかわらず、オブジェクト性バイアスの大きなギャップにより、現実世界の画像内の一般的なオブジェクトをセグメント化できないことが経験的にわかります。
合成画像と実際の画像の間。
アブレートされた実世界のデータセットの複数のグループに対して広範な実験を実施することで、実世界の画像における既存の教師なしモデルの失敗の根底にある主な要因は、外観と幾何学における背景と前景のオブジェクトの偏りの困難な分布であることが最終的にわかりました。
このため、既存の教師なしモデルに導入された誘導バイアスでは、多様なオブジェクトの分布を捉えることはほとんどできません。
私たちの研究結果は、将来の研究ではネットワーク設計においてより明示的なオブジェクト性バイアスを活用する必要があることを示唆しています。

要約(オリジナル)

In this paper, we study the problem of unsupervised object segmentation from single images. We do not introduce a new algorithm, but systematically investigate the effectiveness of existing unsupervised models on challenging real-world images. We first introduce seven complexity factors to quantitatively measure the distributions of background and foreground object biases in appearance and geometry for datasets with human annotations. With the aid of these factors, we empirically find that, not surprisingly, existing unsupervised models fail to segment generic objects in real-world images, although they can easily achieve excellent performance on numerous simple synthetic datasets, due to the vast gap in objectness biases between synthetic and real images. By conducting extensive experiments on multiple groups of ablated real-world datasets, we ultimately find that the key factors underlying the failure of existing unsupervised models on real-world images are the challenging distributions of background and foreground object biases in appearance and geometry. Because of this, the inductive biases introduced in existing unsupervised models can hardly capture the diverse object distributions. Our research results suggest that future work should exploit more explicit objectness biases in the network design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google