Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention

要約

ビデオインスタンスのセグメンテーションは、各フレームのオブジェクトセグメンテーションマスクを予測し、複数のフレームにまたがってインスタンスを関連付けることを目的としています。
最近のエンドツーエンドのビデオインスタンスセグメンテーション方法は、直接並列シーケンスデコード/予測フレームワークでオブジェクトセグメンテーションとインスタンスアソシエーションを一緒に実行することができます。
これらのメソッドは通常、より高品質のオブジェクトセグメンテーションマスクを予測しますが、隣接するフレームの時間インスタンスの整合性を明示的にモデル化していないため、困難なケースではインスタンスの関連付けに失敗する可能性があります。
隣接するフレームの時間的インスタンスの一貫性とグローバルな時間的コンテキストの両方をモデル化するために、フレーム間反復注意を備えた一貫性のあるエンドツーエンドのビデオインスタンスセグメンテーションフレームワークを提案します。
私たちの広範な実験は、フレーム間反復注意が、オブジェクトセグメンテーションマスクの品質を維持しながら、一時的なインスタンスの一貫性を大幅に改善することを示しています。
私たちのモデルは、YouTubeVIS-2019（62.1 \％）とYouTubeVIS-2021（54.7 \％）の両方のデータセットで最先端の精度を実現しています。
さらに、定量的および定性的な結果は、提案された方法がより時間的に一貫したインスタンスセグメンテーションマスクを予測することを示しています。

要約(オリジナル)

Video instance segmentation aims at predicting object segmentation masks for each frame, as well as associating the instances across multiple frames. Recent end-to-end video instance segmentation methods are capable of performing object segmentation and instance association together in a direct parallel sequence decoding/prediction framework. Although these methods generally predict higher quality object segmentation masks, they can fail to associate instances in challenging cases because they do not explicitly model the temporal instance consistency for adjacent frames. We propose a consistent end-to-end video instance segmentation framework with Inter-Frame Recurrent Attention to model both the temporal instance consistency for adjacent frames and the global temporal context. Our extensive experiments demonstrate that the Inter-Frame Recurrent Attention significantly improves temporal instance consistency while maintaining the quality of the object segmentation masks. Our model achieves state-of-the-art accuracy on both YouTubeVIS-2019 (62.1\%) and YouTubeVIS-2021 (54.7\%) datasets. In addition, quantitative and qualitative results show that the proposed methods predict more temporally consistent instance segmentation masks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google