Tackling Background Distraction in Video Object Segmentation

要約

半教師ありビデオオブジェクトセグメンテーション（VOS）は、ビデオ内の特定の指定されたオブジェクトを高密度に追跡することを目的としています。
このタスクの主な課題の1つは、ターゲットオブジェクトに類似しているように見えるバックグラウンドディストラクタの存在です。
このような気を散らすものを抑制するための3つの新しい戦略を提案します。1）ターゲットオブジェクトの一般化されたプロパティを取得するための時空間的に多様化されたテンプレート構築スキーム。
2）2つの連続するフレーム間の時間的一貫性を利用することにより、空間的に離れたディストラクタを除外する学習可能な距離スコアリング関数。
3）絡み合ったオブジェクトを含むトレーニングサンプルを提供することにより、各オブジェクトに固有の機能を持たせるためのスワップアンドアタッチ拡張。
すべての公開ベンチマークデータセットで、私たちのモデルは、リアルタイムのパフォーマンスでも、最新の最先端のアプローチと同等のパフォーマンスを実現します。
定性的な結果は、既存の方法に対する私たちのアプローチの優位性も示しています。
私たちのアプローチは、将来のVOS研究に広く使用されると信じています。

要約(オリジナル)

Semi-supervised video object segmentation (VOS) aims to densely track certain designated objects in videos. One of the main challenges in this task is the existence of background distractors that appear similar to the target objects. We propose three novel strategies to suppress such distractors: 1) a spatio-temporally diversified template construction scheme to obtain generalized properties of the target objects; 2) a learnable distance-scoring function to exclude spatially-distant distractors by exploiting the temporal consistency between two consecutive frames; 3) swap-and-attach augmentation to force each object to have unique features by providing training samples containing entangled objects. On all public benchmark datasets, our model achieves a comparable performance to contemporary state-of-the-art approaches, even with real-time performance. Qualitative results also demonstrate the superiority of our approach over existing methods. We believe our approach will be widely used for future VOS research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google