Unified Mask Embedding and Correspondence Learning for Self-Supervised Video Segmentation

要約

この論文の目的は、ビデオ オブジェクト セグメンテーションの自己教師あり学習です。
ローカル識別機能学習のためのクロス フレーム密な対応を同時にモデル化し、ターゲット マスク デコードのためのオブジェクト レベルのコンテキストを埋め込む統合フレームワークを開発します。
その結果、ラベルのないビデオからマスク ガイド付きシーケンシャル セグメンテーションを実行する方法を直接学習できます。これは、通常、ピクセル単位の相関に従ってラベルを安価に「コピー」する斜めのソリューションに依存する以前の取り組みとは対照的です。
具体的には、私たちのアルゴリズムは i) ニヒロから疑似セグメンテーション ラベルを作成するためのビデオ ピクセルのクラスタリング、
ii) 疑似ラベルを利用して、VOS のマスクのエンコードとデコードを学習します。
学習した表現の一般的な性質を保証し、クラスターの縮退を回避するために、教師なし対応学習がこの独学のマスク埋め込みスキームにさらに組み込まれます。
当社のアルゴリズムは、2 つの標準ベンチマーク (DAVIS17 と YouTube-VOS) で最先端を設定し、パフォーマンスとネットワーク アーキテクチャ設計の両方の観点から、自己監視型 VOS と完全監視型 VOS の間のギャップを狭めます。

要約(オリジナル)

The objective of this paper is self-supervised learning of video object segmentation. We develop a unified framework which simultaneously models cross-frame dense correspondence for locally discriminative feature learning and embeds object-level context for target-mask decoding. As a result, it is able to directly learn to perform mask-guided sequential segmentation from unlabeled videos, in contrast to previous efforts usually relying on an oblique solution – cheaply ‘copying’ labels according to pixel-wise correlations. Concretely, our algorithm alternates between i) clustering video pixels for creating pseudo segmentation labels ex nihilo; and ii) utilizing the pseudo labels to learn mask encoding and decoding for VOS. Unsupervised correspondence learning is further incorporated into this self-taught, mask embedding scheme, so as to ensure the generic nature of the learnt representation and avoid cluster degeneracy. Our algorithm sets state-of-the-arts on two standard benchmarks (i.e., DAVIS17 and YouTube-VOS), narrowing the gap between self- and fully-supervised VOS, in terms of both performance and network architecture design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google