Promising or Elusive? Unsupervised Object Segmentation from Real-world Single Images

要約

本論文では、単一画像からの教師無しオブジェクトセグメンテーションの問題を研究する。我々は新しいアルゴリズムを導入するのではなく、既存の教師無しモデルの有効性を、挑戦的な実世界の画像に対して系統的に調査する。我々はまず、人間のアノテーションを持つデータセットに対して、外観と幾何学におけるオブジェクトレベルとシーンレベルのバイアスの分布を定量的に測定するために、4つの複雑性因子を導入する。これらの要因を用いて、既存の教師なしモデルは、多くの単純な合成データセットでは容易に優れた性能を達成できるにもかかわらず、合成画像と実画像の間のオブジェクト性の偏りの大きなギャップにより、実世界画像中の一般オブジェクトをセグメントすることができないことを経験的に明らかにする。我々は、複数の実世界データセットに対して大規模な実験を行い、既存の教師なしモデルが実世界画像で大失敗する主要因は、物体レベルとシーンレベルの外観と形状のバイアスの困難な分布にあることを最終的に見出した。このため、既存の教師なしモデルに導入されている帰納的バイアスは、多様なオブジェクトの分布をほとんど捉えることができない。本研究の結果は、今後の研究において、ネットワーク設計において、より明示的な物体性バイアスを利用する必要があることを示唆している。

要約(オリジナル)

In this paper, we study the problem of unsupervised object segmentation from single images. We do not introduce a new algorithm, but systematically investigate the effectiveness of existing unsupervised models on challenging real-world images. We firstly introduce four complexity factors to quantitatively measure the distributions of object- and scene-level biases in appearance and geometry for datasets with human annotations. With the aid of these factors, we empirically find that, not surprisingly, existing unsupervised models catastrophically fail to segment generic objects in real-world images, although they can easily achieve excellent performance on numerous simple synthetic datasets, due to the vast gap in objectness biases between synthetic and real images. By conducting extensive experiments on multiple groups of ablated real-world datasets, we ultimately find that the key factors underlying the colossal failure of existing unsupervised models on real-world images are the challenging distributions of object- and scene-level biases in appearance and geometry. Because of this, the inductive biases introduced in existing unsupervised models can hardly capture the diverse object distributions. Our research results suggest that future work should exploit more explicit objectness biases in the network design.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL