QDFormer: Towards Robust Audiovisual Segmentation in Complex Environments with Quantization-based Semantic Decomposition

要約

視聴覚セグメンテーション (AVS) は、関連する音響キューに従ってビデオ内の視覚オブジェクトをセグメント化することを目的とした難しいタスクです。
複数の音源と背景の妨害が関係するため、オーディオとビジュアルのコンテンツ間の堅牢な対応関係を確立することは、(1) 音源間の複雑な絡み合い、および (2) 個別の音声イベントの発生における頻繁な変化により、独特の課題を引き起こします。
音声イベントが独立して発生すると仮定すると、複数の音源の意味空間は、単一音源の部分空間のデカルト積として表すことができます。
私たちは、ビジュアル コンテンツとのより効果的なインタラクションを実現するために、マルチソースのオーディオ セマンティクスを単一ソースのセマンティクスに分解することに取り組んでいます。
我々は、積量子化に基づいた意味分解方法を提案します。この方法では、マルチソースのセマンティクスを分解し、もつれが解けてノイズが抑制された複数の単一ソースのセマンティクスによって表現できます。
さらに、オーディオ セマンティクスの頻繁な変更に対処するために、安定したグローバル (クリップ レベル) 特徴からローカル (フレーム レベル) 特徴に知識を抽出するグローバルからローカルへの量子化メカニズムを導入します。
広範な実験により、セマンティックに分解されたオーディオ表現により AVS パフォーマンスが大幅に向上することが実証されています (たとえば、ResNet50 バックボーンを使用した困難な AVS-Semantic ベンチマークで +21.2% mIoU)。
https://github.com/lxa9867/QSD。

要約(オリジナル)

Audiovisual segmentation (AVS) is a challenging task that aims to segment visual objects in videos according to their associated acoustic cues. With multiple sound sources and background disturbances involved, establishing robust correspondences between audio and visual contents poses unique challenges due to (1) complex entanglement across sound sources and (2) frequent changes in the occurrence of distinct sound events. Assuming sound events occur independently, the multi-source semantic space can be represented as the Cartesian product of single-source sub-spaces. We are motivated to decompose the multi-source audio semantics into single-source semantics for more effective interactions with visual content. We propose a semantic decomposition method based on product quantization, where the multi-source semantics can be decomposed and represented by several disentangled and noise-suppressed single-source semantics. Furthermore, we introduce a global-to-local quantization mechanism, which distills knowledge from stable global (clip-level) features into local (frame-level) ones, to handle frequent changes in audio semantics. Extensive experiments demonstrate that our semantically decomposed audio representation significantly improves AVS performance, e.g., +21.2% mIoU on the challenging AVS-Semantic benchmark with ResNet50 backbone. https://github.com/lxa9867/QSD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google