Unsupervised Video Object Segmentation via Prototype Memory Network

要約

教師なしビデオオブジェクトセグメンテーションは、初期フレームにおけるグランドトゥルースマスクなしで、ビデオ内のターゲットオブジェクトをセグメント化することを目的としている。この困難なタスクは、ビデオシーケンス内の最も顕著な共通オブジェクトの特徴を抽出する必要がある。この困難はオプティカルフローなどの運動情報を用いることで解決できるが，隣接フレーム間の情報のみを用いた場合，離れたフレーム間の接続性が悪くなり，性能が低下する．この問題を解決するために、我々は新しいプロトタイプのメモリネットワークアーキテクチャを提案する。提案モデルは、入力されたRGB画像とオプティカルフローマップから、スーパーピクセルベースの成分プロトタイプを抽出することにより、RGB情報と動き情報を効率的に抽出する。さらに、本モデルは自己学習アルゴリズムに基づき、各フレームにおけるコンポーネントプロトタイプの有用性をスコア化し、最も有用なプロトタイプを適応的にメモリに格納し、不要になったプロトタイプを破棄する。メモリバンク内のプロトタイプを用いて、次のクエリフレームのマスクを予測することで、離れたフレーム間の関連性を高め、正確なマスク予測に役立てる。本手法は3つのデータセットで評価され、最先端の性能を達成した。また、提案モデルの有効性を様々なアブレーション研究により証明する。

要約(オリジナル)

Unsupervised video object segmentation aims to segment a target object in the video without a ground truth mask in the initial frame. This challenging task requires extracting features for the most salient common objects within a video sequence. This difficulty can be solved by using motion information such as optical flow, but using only the information between adjacent frames results in poor connectivity between distant frames and poor performance. To solve this problem, we propose a novel prototype memory network architecture. The proposed model effectively extracts the RGB and motion information by extracting superpixel-based component prototypes from the input RGB images and optical flow maps. In addition, the model scores the usefulness of the component prototypes in each frame based on a self-learning algorithm and adaptively stores the most useful prototypes in memory and discards obsolete prototypes. We use the prototypes in the memory bank to predict the next query frames mask, which enhances the association between distant frames to help with accurate mask prediction. Our method is evaluated on three datasets, achieving state-of-the-art performance. We prove the effectiveness of the proposed model with various ablation studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL