Look Before You Match: Instance Understanding Matters in Video Object Segmentation

要約

現在のフレームと過去のフレームの間の高密度マッチングを探索して長距離コンテキスト モデリングを行うと、メモリ ベースの方法が最近、ビデオ オブジェクト セグメンテーション (VOS) で印象的な結果を示しました。
それにもかかわらず、インスタンス理解能力の欠如により、上記のアプローチは、多くの場合、物体やカメラの動きに起因する大きな外観の変化や視点の変化に対して脆弱です。
この論文では、インスタンスの理解が VOS で重要であり、それをメモリベースのマッチングと統合することで相乗効果を享受できると主張します。これは、VOS タスクの定義、つまりビデオ内のオブジェクトインスタンスの識別とセグメント化から直感的に理解できます。
この目標に向けて、クエリベースのインスタンス セグメンテーション (IS) ブランチが現在のフレームのインスタンスの詳細を掘り下げ、VOS ブランチがメモリ バンクとの時空間マッチングを実行する、VOS 用の 2 ブランチ ネットワークを提示します。
ISブランチからのよく学習されたオブジェクトクエリを使用して、インスタンス固有の情報をクエリキーに挿入します。これにより、インスタンス拡張マッチングがさらに実行されます。
さらに、マルチパス フュージョン ブロックを導入して、メモリの読み出しとインスタンス セグメンテーション デコーダーのマルチスケール機能を効果的に組み合わせます。これは、高解像度のインスタンス認識機能を組み込んで、最終的なセグメンテーション結果を生成します。
私たちの方法は、DAVIS 2016/2017 val (92.6% および 87.1%)、DAVIS 2017 test-dev (82.8%)、および YouTube-VOS 2018/2019 val (86.3% および 86.3%) で最先端のパフォーマンスを達成します。
、明確なマージンで代替方法を上回っています。

要約(オリジナル)

Exploring dense matching between the current frame and past frames for long-range context modeling, memory-based methods have demonstrated impressive results in video object segmentation (VOS) recently. Nevertheless, due to the lack of instance understanding ability, the above approaches are oftentimes brittle to large appearance variations or viewpoint changes resulted from the movement of objects and cameras. In this paper, we argue that instance understanding matters in VOS, and integrating it with memory-based matching can enjoy the synergy, which is intuitively sensible from the definition of VOS task, \ie, identifying and segmenting object instances within the video. Towards this goal, we present a two-branch network for VOS, where the query-based instance segmentation (IS) branch delves into the instance details of the current frame and the VOS branch performs spatial-temporal matching with the memory bank. We employ the well-learned object queries from IS branch to inject instance-specific information into the query key, with which the instance-augmented matching is further performed. In addition, we introduce a multi-path fusion block to effectively combine the memory readout with multi-scale features from the instance segmentation decoder, which incorporates high-resolution instance-aware features to produce final segmentation results. Our method achieves state-of-the-art performance on DAVIS 2016/2017 val (92.6% and 87.1%), DAVIS 2017 test-dev (82.8%), and YouTube-VOS 2018/2019 val (86.3% and 86.3%), outperforming alternative methods by clear margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google