Rethinking Cross-modal Interaction from a Top-down Perspective for Referring Video Object Segmentation

要約

参照ビデオ オブジェクト セグメンテーション (RVOS) は、自然言語参照に基づいてビデオ オブジェクトをセグメント化することを目的としています。
従来の方法は通常、画像格子上に直接接地する言語参照を通じて RVOS に取り組みました。
このようなボトムアップ戦略では、オブジェクトレベルの手がかりを探ることができず、劣悪な結果につながりやすいです。
この研究では、代わりに 2 段階のトップダウン RVOS ソリューションを提案しました。
まず、いくつかのサンプリングされたフレームから検出されたオブジェクト マスクをビデオ全体に伝播することによって、オブジェクト トラックレットの網羅的なセットが構築されます。
第 2 に、インスタンス レベルの視覚的関係とクロスモーダル インタラクションを同時に効率的にモデル化する、Transformer ベースのトラックレット言語グラウンディング モジュールが提案されます。
当社のモデルは、CVPR2021 Referring Youtube-VOS チャレンジで 1 位にランクされました。

要約(オリジナル)

Referring video object segmentation (RVOS) aims to segment video objects with the guidance of natural language reference. Previous methods typically tackle RVOS through directly grounding linguistic reference over the image lattice. Such bottom-up strategy fails to explore object-level cues, easily leading to inferior results. In this work, we instead put forward a two-stage, top-down RVOS solution. First, an exhaustive set of object tracklets is constructed by propagating object masks detected from several sampled frames to the entire video. Second, a Transformer-based tracklet-language grounding module is proposed, which models instance-level visual relations and cross-modal interactions simultaneously and efficiently. Our model ranks first place on CVPR2021 Referring Youtube-VOS challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google