Learning Audio-Visual Source Localization via False Negative Aware Contrastive Learning

要約

自己監視型オーディオビジュアル ソース ローカリゼーションは、追加の注釈なしでビデオ フレーム内の音源オブジェクトを特定することを目的としています。
最近の方法では、対照学習を利用してこの目標に近づくことがよくあります。対照学習では、同じビデオのオーディオとビジュアルのコンテンツのみが互いにポジティブなサンプルであると想定されます。
ただし、この仮定は、実際のトレーニングでは偽陰性サンプルの影響を受ける可能性があります。
たとえば、オーディオ サンプルの場合、同じオーディオ クラスのフレームをネガティブ サンプルとして扱うと、モデルが誤解を招き、学習した表現が損なわれる可能性があります。
この観察に基づいて、False Negative Aware Contrastive (FNAC) という名前の新しい学習戦略を提案し、このような偽陰性サンプルでトレーニングを誤解させる問題を軽減します。
具体的には、イントラモーダル類似性を利用して潜在的に類似したサンプルを特定し、対応する隣接行列を構築して対照的な学習を導きます。
さらに、音源の視覚的特徴を明示的に活用して真の音源領域の区別を容易にすることにより、真の負のサンプルの役割を強化することを提案します。
FNAC は、Flickr-SoundNet、VGG-Sound、および AVSBench で最先端のパフォーマンスを達成しており、偽陰性の問題を軽減する方法の有効性を示しています。
コードは \url{https://github.com/weixuansun/FNAC-AVL} で入手できます。

要約(オリジナル)

Self-supervised audio-visual source localization aims to locate sound-source objects in video frames without extra annotations. Recent methods often approach this goal with the help of contrastive learning, which assumes only the audio and visual contents from the same video are positive samples for each other. However, this assumption would suffer from false negative samples in real-world training. For example, for an audio sample, treating the frames from the same audio class as negative samples may mislead the model and therefore harm the learned representations e.g., the audio of a siren wailing may reasonably correspond to the ambulances in multiple images). Based on this observation, we propose a new learning strategy named False Negative Aware Contrastive (FNAC) to mitigate the problem of misleading the training with such false negative samples. Specifically, we utilize the intra-modal similarities to identify potentially similar samples and construct corresponding adjacency matrices to guide contrastive learning. Further, we propose to strengthen the role of true negative samples by explicitly leveraging the visual features of sound sources to facilitate the differentiation of authentic sounding source regions. FNAC achieves state-of-the-art performances on Flickr-SoundNet, VGG-Sound, and AVSBench, which demonstrates the effectiveness of our method in mitigating the false negative issue. The code is available at \url{https://github.com/weixuansun/FNAC-AVL}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google