LAVSS: Location-Guided Audio-Visual Spatial Audio Separation

要約

既存の機械学習研究は、モノラル視聴覚分離 (MAVS) において有望な結果を達成しています。
ただし、ほとんどの MAVS メソッドは、音源がどこにあるかではなく、音源が何であるかを純粋に考慮します。
これは、リスナーが異なる方向にある類似の音源を区別できる必要がある VR/AR シナリオでは問題になる可能性があります。
この制限に対処するために、私たちは MAVS を空間オーディオ分離に一般化し、位置ガイド付きオーディオビジュアル空間オーディオ分離器である LAVSS を提案しました。
LAVSS は、空間オーディオと視覚的位置の相関関係にインスピレーションを受けています。
バイノーラル オーディオによって運ばれる位相差を空間キューとして導入し、追加のモダリティ ガイダンスとして音響オブジェクトの位置表現を利用します。
また、マルチレベルのクロスモーダル アテンションを活用して、オーディオ機能との視覚と位置のコラボレーションを実行します。
さらに、事前にトレーニングされたモノラルセパレーターを採用し、豊かなモノラルサウンドから知識を伝達し、空間オーディオ分離を強化します。
これは、モノラル チャンネルとバイノーラル チャンネル間の相関関係を利用します。
FAIR-Play データセットの実験により、提案された LAVSS が視聴覚分離の既存のベンチマークよりも優れていることが実証されました。
私たちのプロジェクトページ: https://yyx666660.github.io/LAVSS/。

要約(オリジナル)

Existing machine learning research has achieved promising results in monaural audio-visual separation (MAVS). However, most MAVS methods purely consider what the sound source is, not where it is located. This can be a problem in VR/AR scenarios, where listeners need to be able to distinguish between similar audio sources located in different directions. To address this limitation, we have generalized MAVS to spatial audio separation and proposed LAVSS: a location-guided audio-visual spatial audio separator. LAVSS is inspired by the correlation between spatial audio and visual location. We introduce the phase difference carried by binaural audio as spatial cues, and we utilize positional representations of sounding objects as additional modality guidance. We also leverage multi-level cross-modal attention to perform visual-positional collaboration with audio features. In addition, we adopt a pre-trained monaural separator to transfer knowledge from rich mono sounds to boost spatial audio separation. This exploits the correlation between monaural and binaural channels. Experiments on the FAIR-Play dataset demonstrate the superiority of the proposed LAVSS over existing benchmarks of audio-visual separation. Our project page: https://yyx666660.github.io/LAVSS/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google