Expression Prompt Collaboration Transformer for Universal Referring Video Object Segmentation

要約

音声ガイド付きビデオ オブジェクト セグメンテーション (A-VOS) と参照ビデオ オブジェクト セグメンテーション (R-VOS) は、関連性の高い 2 つのタスクであり、どちらも表現プロンプトに従ってビデオ シーケンスから特定のオブジェクトをセグメント化することを目的としています。
ただし、さまざまなモダリティの表現をモデル化するという課題があるため、既存の方法では、インタラクションの柔軟性と位置特定の精度のバランスを取るのに苦労しています。
この論文では、音声とテキストの位置合わせと、音声、テキスト、視覚モダリティ間の深い相互作用という 2 つの観点からこの問題に取り組みます。
まず、ユニバーサル アーキテクチャである Expression Prompt Collaboration Transformer (ここでは EPCFormer) を提案します。
次に、オーディオとテキストの Expression Alignment (EA) メカニズムを提案します。
提案された EPCFormer は、同じオブジェクトを参照する音声プロンプトとテキスト プロンプトが意味的に同等であるという事実を、両方のタイプの式に対して対比学習を使用することで利用します。
次に、オーディオ、テキスト、およびビジュアル モダリティ間の深い相互作用を促進するために、Expression-Visual Attendee (EVA) モジュールを導入します。
表現プロンプトに関するビデオ オブジェクトのセグメンテーションの知識は、テキストとオーディオの間の補完的な手がかりを深く調査することにより、2 つのタスク間でシームレスに移行できます。
よく知られたベンチマークでの実験により、当社の EPCFormer が両方のタスクで最先端の結果を達成できることが実証されました。
ソースコードは https://github.com/lab206/EPCFormer で公開されます。

要約(オリジナル)

Audio-guided Video Object Segmentation (A-VOS) and Referring Video Object Segmentation (R-VOS) are two highly related tasks that both aim to segment specific objects from video sequences according to expression prompts. However, due to the challenges of modeling representations for different modalities, existing methods struggle to strike a balance between interaction flexibility and localization precision. In this paper, we address this problem from two perspectives: the alignment of audio and text and the deep interaction among audio, text, and visual modalities. First, we propose a universal architecture, the Expression Prompt Collaboration Transformer, herein EPCFormer. Next, we propose an Expression Alignment (EA) mechanism for audio and text. The proposed EPCFormer exploits the fact that audio and text prompts referring to the same objects are semantically equivalent by using contrastive learning for both types of expressions. Then, to facilitate deep interactions among audio, text, and visual modalities, we introduce an Expression-Visual Attention (EVA) module. The knowledge of video object segmentation in terms of the expression prompts can seamlessly transfer between the two tasks by deeply exploring complementary cues between text and audio. Experiments on well-recognized benchmarks demonstrate that our EPCFormer attains state-of-the-art results on both tasks. The source code will be made publicly available at https://github.com/lab206/EPCFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google