A Simple and Powerful Global Optimization for Unsupervised Video Object Segmentation

要約

ビデオの教師なしオブジェクトセグメンテーションのためのシンプルでありながら強力なアプローチを提案します。
最小値が入力シーケンス上の主な顕著なオブジェクトのマスクを表す目的関数を導入します。
独立した画像の特徴とオプティカル フローのみに依存します。これらは、市販の自己教師あり方法を使用して取得できます。
スーパーピクセルやスパース化を必要とせずにシーケンスの長さに合わせてスケーリングし、特定のトレーニングなしでさまざまなデータセットに一般化します。
この目的関数は、実際には、ビデオ全体に適用されるスペクトル クラスタリングの形式から導き出すことができます。
私たちの方法は、標準的なベンチマーク (DAVIS2016、SegTrack-v2、FBMS59) で最新技術と同等のパフォーマンスを達成しながら、概念的および実際的にはるかに単純です。
コードは https://ponimatkin.github.io/ssl-vos で入手できます。

要約(オリジナル)

We propose a simple, yet powerful approach for unsupervised object segmentation in videos. We introduce an objective function whose minimum represents the mask of the main salient object over the input sequence. It only relies on independent image features and optical flows, which can be obtained using off-the-shelf self-supervised methods. It scales with the length of the sequence with no need for superpixels or sparsification, and it generalizes to different datasets without any specific training. This objective function can actually be derived from a form of spectral clustering applied to the entire video. Our method achieves on-par performance with the state of the art on standard benchmarks (DAVIS2016, SegTrack-v2, FBMS59), while being conceptually and practically much simpler. Code is available at https://ponimatkin.github.io/ssl-vos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google