Contrastive Conditional Latent Diffusion for Audio-visual Segmentation

要約

我々は、オーディオの寄与を広範囲に調査するために、オーディオビジュアルセグメンテーション（AVS）のための対照学習を備えた潜在拡散モデルを提案します。
AVS を条件付き生成タスクとして解釈します。ここで、オーディオはサウンド プロデューサーのセグメンテーションの条件変数として定義されます。
私たちの新しい解釈では、オーディオと最終的なセグメンテーション マップの間の相関関係をモデル化して、その寄与を確実にすることが特に必要です。
意味相関表現学習を実現するために、潜在拡散モデルをフレームワークに導入します。
具体的には、拡散モデルはグラウンド トゥルース セグメンテーション マップの条件付き生成プロセスを学習し、テスト段階でノイズ除去プロセスを実行するときにグラウンド トゥルースを認識した推論を導きます。
条件付き拡散モデルとして、条件付き変数がモデルの出力に確実に寄与することが不可欠であると主張します。
次に、オーディオとビジュアルの対応関係を学習するためにフレームワークに対照学習を導入します。これは、モデル予測とオーディオ データの間の相互情報を最大化することと一致していることが証明されています。
このようにして、対照学習による潜在拡散モデルは、AVS に対するオーディオの貢献を明示的に最大化します。
ベンチマーク データセットの実験結果により、ソリューションの有効性が検証されます。
コードと結果は、プロジェクト ページ https://github.com/OpenNLPLab/DiffusionAVS からオンラインで入手できます。

要約(オリジナル)

We propose a latent diffusion model with contrastive learning for audio-visual segmentation (AVS) to extensively explore the contribution of audio. We interpret AVS as a conditional generation task, where audio is defined as the conditional variable for sound producer(s) segmentation. With our new interpretation, it is especially necessary to model the correlation between audio and the final segmentation map to ensure its contribution. We introduce a latent diffusion model to our framework to achieve semantic-correlated representation learning. Specifically, our diffusion model learns the conditional generation process of the ground-truth segmentation map, leading to ground-truth aware inference when we perform the denoising process at the test stage. As a conditional diffusion model, we argue it is essential to ensure that the conditional variable contributes to model output. We then introduce contrastive learning to our framework to learn audio-visual correspondence, which is proven consistent with maximizing the mutual information between model prediction and the audio data. In this way, our latent diffusion model via contrastive learning explicitly maximizes the contribution of audio for AVS. Experimental results on the benchmark dataset verify the effectiveness of our solution. Code and results are online via our project page: https://github.com/OpenNLPLab/DiffusionAVS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google