Hearing and Seeing Through CLIP: A Framework for Self-Supervised Sound Source Localization

要約

大規模なビジョン言語モデルは、多様なタスク全体で強力なマルチモーダルアライメントと一般化を示しています。
その中で、Clipは最も成功したアプローチの1つとして際立っています。
この作業では、クリップの適用をサウンドソースのローカリゼーションに拡張し、明示的なテキスト入力なしで自己監視された方法を提案します。
オーディオをクリップのテキストエンコーダーと互換性のあるトークンにマッピングするフレームワークを紹介し、オーディオ駆動型の埋め込みを生成します。
これらの埋め込みは、サウンド領域マスクを生成するために使用されます。このマスクは、対照的なオーディオビジュアル対応目標を介して、視覚的な特徴が抽出され、オーディオ埋め込みと整列されています。
私たちの調査結果は、事前に訓練されたマルチモーダルファンデーションモデルのアラインメント知識により、私たちの方法がオブジェクトのサウンド用のより完全でコンパクトなローカリゼーションを生成することを可能にすることを示しています。
さらに、トレーニング中にオブジェクトを認識しているオーディオビジュアルシーンの理解をモデルに蒸留するLLM誘導拡張機能を提案し、アラインメントを強化します。
5つの多様なタスクにわたる広範な実験は、すべてのバリエーションにおけるこの方法が最先端のアプローチを上回り、ゼロショット設定で強力な一般化を達成することを示しています。

要約(オリジナル)

Large-scale vision-language models demonstrate strong multimodal alignment and generalization across diverse tasks. Among them, CLIP stands out as one of the most successful approaches. In this work, we extend the application of CLIP to sound source localization, proposing a self-supervised method operates without explicit text input. We introduce a framework that maps audios into tokens compatible with CLIP’s text encoder, producing audio-driven embeddings. These embeddings are used to generate sounding region masks, from which visual features are extracted and aligned with the audio embeddings through a contrastive audio-visual correspondence objective. Our findings show that alignment knowledge of pre-trained multimodal foundation model enables our method to generate more complete and compact localization for sounding objects. We further propose an LLM-guided extension that distills object-aware audio-visual scene understanding into the model during training to enhance alignment. Extensive experiments across five diverse tasks demonstrate that our method, in all variants, outperforms state-of-the-art approaches and achieves strong generalization in zero-shot settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google