Language-Bridged Spatial-Temporal Interaction for Referring Video Object Segmentation

要約

参照ビデオオブジェクトのセグメンテーションは、ビデオ内の自然言語表現によって参照されるオブジェクトの前景ラベルを予測することを目的とする。これまでの手法は、3次元ConvNetsに依存するか、エンコーダとしてさらに2次元ConvNetsを組み込んで、空間-時間混合特徴を抽出する。しかし、これらの方法は、復号化段階で発生する遅延した暗黙の空間-時間相互作用のために、空間的なミスアライメントや偽のディストラクタに悩まされている。そこで、我々は、言語を媒介として、符号化段階の早い段階で明示的かつ適応的な空間-時間相互作用を実現する言語橋渡し二重転送（LBDT）モジュールを提案する。具体的には、時間エンコーダ、参照語、空間エンコーダの間でクロスモーダルな注意を行い、言語関連の動きと外観情報を集約して伝達する。さらに、デコーディング段階において、チャンネル単位の活性化により、空間と時間の一貫した特徴を強調するためのバイラテラルチャンネル活性化（BCA）モジュールも提案する。広範な実験により、我々の手法は4つの一般的なベンチマークにおいて、約7倍の計算量を消費しながら、A2D SentencesとJ-HMDB Sentencesでそれぞれ6.8%と6.9%の絶対APゲインを達成し、新しい最先端性能を実現することが示された。

要約(オリジナル)

Referring video object segmentation aims to predict foreground labels for objects referred by natural language expressions in videos. Previous methods either depend on 3D ConvNets or incorporate additional 2D ConvNets as encoders to extract mixed spatial-temporal features. However, these methods suffer from spatial misalignment or false distractors due to delayed and implicit spatial-temporal interaction occurring in the decoding phase. To tackle these limitations, we propose a Language-Bridged Duplex Transfer (LBDT) module which utilizes language as an intermediary bridge to accomplish explicit and adaptive spatial-temporal interaction earlier in the encoding phase. Concretely, cross-modal attention is performed among the temporal encoder, referring words and the spatial encoder to aggregate and transfer language-relevant motion and appearance information. In addition, we also propose a Bilateral Channel Activation (BCA) module in the decoding phase for further denoising and highlighting the spatial-temporal consistent features via channel-wise activation. Extensive experiments show our method achieves new state-of-the-art performances on four popular benchmarks with 6.8% and 6.9% absolute AP gains on A2D Sentences and J-HMDB Sentences respectively, while consuming around 7x less computational overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL