Ref-AVS: Refer and Segment Objects in Audio-Visual Scenes

要約

従来の参照セグメンテーション タスクは主に静かな視覚シーンに焦点を当てており、人間の経験におけるマルチモーダルな知覚とインタラクションの不可欠な役割が無視されてきました。
この研究では、参照オーディオビジュアル セグメンテーション (Ref-AVS) と呼ばれる新しいタスクを導入します。このタスクは、マルチモーダル キューを含む表現に基づいて視覚領域内のオブジェクトをセグメント化しようとします。
このような表現は自然言語形式で表現されていますが、音声や視覚的な説明を含むマルチモーダルな手がかりで強化されています。
この研究を促進するために、対応するマルチモーダルキュー表現で記述されたオブジェクトにピクセルレベルの注釈を提供する最初の Ref-AVS ベンチマークを構築しました。
Ref-AVS タスクに取り組むために、マルチモーダル キューを適切に利用して正確なセグメンテーション ガイダンスを提供する新しい方法を提案します。
最後に、3 つのテスト サブセットに対して定量的および定性的な実験を実行し、関連タスクの既存の手法とアプローチを比較します。
結果は、私たちの方法の有効性を実証し、マルチモーダルキュー表現を使用してオブジェクトを正確にセグメント化する能力を強調しています。
データセットは \href{https://gewu-lab.github.io/Ref-AVS}{https://gewu-lab.github.io/Ref-AVS} で入手できます。

要約(オリジナル)

Traditional reference segmentation tasks have predominantly focused on silent visual scenes, neglecting the integral role of multimodal perception and interaction in human experiences. In this work, we introduce a novel task called Reference Audio-Visual Segmentation (Ref-AVS), which seeks to segment objects within the visual domain based on expressions containing multimodal cues. Such expressions are articulated in natural language forms but are enriched with multimodal cues, including audio and visual descriptions. To facilitate this research, we construct the first Ref-AVS benchmark, which provides pixel-level annotations for objects described in corresponding multimodal-cue expressions. To tackle the Ref-AVS task, we propose a new method that adequately utilizes multimodal cues to offer precise segmentation guidance. Finally, we conduct quantitative and qualitative experiments on three test subsets to compare our approach with existing methods from related tasks. The results demonstrate the effectiveness of our method, highlighting its capability to precisely segment objects using multimodal-cue expressions. Dataset is available at \href{https://gewu-lab.github.io/Ref-AVS}{https://gewu-lab.github.io/Ref-AVS}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google