Flow-guided Semi-supervised Video Object Segmentation

要約

半教師ありビデオ オブジェクト セグメンテーションのためのオプティカル フロー ガイド付きアプローチを提案します。
オプティカル フローは、通常、教師なしビデオ オブジェクト セグメンテーションにおける追加のガイダンス情報として利用されます。
ただし、半教師付きビデオ オブジェクト セグメンテーションにおけるその関連性は、完全には調査されていません。
この作業では、セグメンテーション タスクに対処するエンコーダー デコーダー アプローチに従います。
オプティカル フローと画像から結合された情報を抽出するモデルが提案され、ターゲット モデルとデコーダ ネットワークへの入力として使用されます。
連結を使用して画像データとオプティカル フローからの情報を統合する以前の方法とは異なり、私たちの作業ではシンプルでありながら効果的なアテンション メカニズムが利用されています。
DAVIS 2017 と YouTube-VOS 2019 での実験では、オプティカル フローから抽出された情報を元の画像ブランチに統合することで、パフォーマンスが大幅に向上し、私たちの方法が最先端のパフォーマンスを達成することが示されています。

要約(オリジナル)

We propose an optical flow-guided approach for semi-supervised video object segmentation. Optical flow is usually exploited as additional guidance information in unsupervised video object segmentation. However, its relevance in semi-supervised video object segmentation has not been fully explored. In this work, we follow an encoder-decoder approach to address the segmentation task. A model to extract the combined information from optical flow and the image is proposed, which is then used as input to the target model and the decoder network. Unlike previous methods where concatenation is used to integrate information from image data and optical flow, a simple yet effective attention mechanism is exploited in our work. Experiments on DAVIS 2017 and YouTube-VOS 2019 show that by integrating the information extracted from optical flow into the original image branch results in a strong performance gain and our method achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google