Audio-Visual Segmentation

要約

視聴覚セグメンテーション（AVS）と呼ばれる新しい問題を調査することを提案します。この問題では、画像フレームの時点で音を生成するオブジェクトのピクセルレベルのマップを出力することが目標です。
この調査を容易にするために、最初の視聴覚セグメンテーションベンチマーク（AVSBench）を構築し、可聴ビデオのサウンドオブジェクトにピクセル単位の注釈を提供します。
このベンチマークでは、2つの設定が調査されます。1）単一の音源による半教師あり視聴覚セグメンテーションと2）複数の音源による完全教師あり視聴覚セグメンテーション。
AVSの問題に対処するために、時間的なピクセル単位のオーディオビジュアルインタラクションモジュールを使用して、ビジュアルセグメンテーションプロセスのガイダンスとしてオーディオセマンティクスを注入する新しい方法を提案します。
また、トレーニング中の視聴覚マッピングを促進するために正則化損失を設計します。
AVSBenchでの定量的および定性的実験は、関連するタスクからのいくつかの既存の方法と私たちのアプローチを比較し、提案された方法がオーディオとピクセル単位の視覚的セマンティクスの間の橋を架けるために有望であることを示しています。
コードはhttps://github.com/OpenNLPLab/AVSBenchで入手できます。

要約(オリジナル)

We propose to explore a new problem called audio-visual segmentation (AVS), in which the goal is to output a pixel-level map of the object(s) that produce sound at the time of the image frame. To facilitate this research, we construct the first audio-visual segmentation benchmark (AVSBench), providing pixel-wise annotations for the sounding objects in audible videos. Two settings are studied with this benchmark: 1) semi-supervised audio-visual segmentation with a single sound source and 2) fully-supervised audio-visual segmentation with multiple sound sources. To deal with the AVS problem, we propose a novel method that uses a temporal pixel-wise audio-visual interaction module to inject audio semantics as guidance for the visual segmentation process. We also design a regularization loss to encourage the audio-visual mapping during training. Quantitative and qualitative experiments on the AVSBench compare our approach to several existing methods from related tasks, demonstrating that the proposed method is promising for building a bridge between the audio and pixel-wise visual semantics. Code is available at https://github.com/OpenNLPLab/AVSBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google