Unsupervised Multi-object Segmentation by Predicting Probable Motion Patterns

要約

手動の監督なしで複数の画像オブジェクトをセグメント化することを学ぶための新しいアプローチを提案します。
この方法では、静止画像からオブジェクトを抽出できますが、監視にはビデオを使用します。
以前の研究ではセグメンテーションのために動きを考慮していましたが、重要な洞察は、動きを使用してオブジェクトを識別することができますが、すべてのオブジェクトが必ずしも動いているわけではないということです。動きがないからといって、オブジェクトがないことを意味するわけではありません。
したがって、私たちのモデルは、しっかりと動く物体に特徴的な動きパターンを含む可能性が高い画像領域を予測することを学習します。
静止画像から一義的に行うことができない特定の動きを予測するのではなく、オブジェクトがまったく動かない可能性を含む可能な動きの分布を予測します。
決定論的なアプローチに対するこのアプローチの利点を実証し、シミュレートされたベンチマークと現実世界のベンチマークで最先端の教師なしオブジェクト セグメンテーション パフォーマンスを示し、テスト時でもモーションを使用する方法を凌駕します。
私たちのアプローチは、シーンをセグメント化するさまざまなネットワーク アーキテクチャに適用できるため、劇的な改善を示す既存の画像再構成ベースのモデルにも適用できます。
プロジェクトのページとコード: https://www.robots.ox.ac.uk/~vgg/research/ppmp .

要約(オリジナル)

We propose a new approach to learn to segment multiple image objects without manual supervision. The method can extract objects form still images, but uses videos for supervision. While prior works have considered motion for segmentation, a key insight is that, while motion can be used to identify objects, not all objects are necessarily in motion: the absence of motion does not imply the absence of objects. Hence, our model learns to predict image regions that are likely to contain motion patterns characteristic of objects moving rigidly. It does not predict specific motion, which cannot be done unambiguously from a still image, but a distribution of possible motions, which includes the possibility that an object does not move at all. We demonstrate the advantage of this approach over its deterministic counterpart and show state-of-the-art unsupervised object segmentation performance on simulated and real-world benchmarks, surpassing methods that use motion even at test time. As our approach is applicable to variety of network architectures that segment the scenes, we also apply it to existing image reconstruction-based models showing drastic improvement. Project page and code: https://www.robots.ox.ac.uk/~vgg/research/ppmp .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google