Action2Sound: Ambient-Aware Generation of Action Sounds from Egocentric Videos

要約

人間の対話のためのリアルなオーディオを生成することは、映画や仮想現実ゲームの音響効果の作成など、多くのアプリケーションにとって重要です。
既存のアプローチは、トレーニング中にビデオとオーディオが完全に一致していることを暗黙的に想定していますが、多くの音は画面外で発生し、ビジュアルとの対応が弱いかまったくありません。その結果、テスト時に制御されない周囲の音や幻覚が発生します。
我々は、新しいアンビエントアウェアオーディオ生成モデル、AV-LDM を提案します。
私たちは、野外トレーニング ビデオ内で前景の動作音と周囲の背景音を分離する方法を学習するための新しいオーディオ調整メカニズムを考案しました。
新しいサイレント ビデオが与えられた場合、私たちのモデルは検索拡張生成を使用して、意味的にも時間的にもビジュアル コンテンツと一致するオーディオを作成します。
私たちは、2 つの実際の自己中心的なビデオ データセット Ego4D と EPIC-KITCHEN を使用してモデルをトレーニングし、評価します。
私たちのモデルは、既存のさまざまな方法よりも優れたパフォーマンスを発揮し、周囲の音の制御可能な生成を可能にし、コンピューター グラフィックスのゲーム クリップに一般化する可能性さえ示しています。
全体として、私たちの研究は、自然な背景音を含む未管理のクリップからトレーニングしたにもかかわらず、観察された視覚コンテンツに忠実にビデオからオーディオへの生成に焦点を当てた初めての成果です。

要約(オリジナル)

Generating realistic audio for human interactions is important for many applications, such as creating sound effects for films or virtual reality games. Existing approaches implicitly assume total correspondence between the video and audio during training, yet many sounds happen off-screen and have weak to no correspondence with the visuals — resulting in uncontrolled ambient sounds or hallucinations at test time. We propose a novel ambient-aware audio generation model, AV-LDM. We devise a novel audio-conditioning mechanism to learn to disentangle foreground action sounds from the ambient background sounds in in-the-wild training videos. Given a novel silent video, our model uses retrieval-augmented generation to create audio that matches the visual content both semantically and temporally. We train and evaluate our model on two in-the-wild egocentric video datasets Ego4D and EPIC-KITCHENS. Our model outperforms an array of existing methods, allows controllable generation of the ambient sound, and even shows promise for generalizing to computer graphics game clips. Overall, our work is the first to focus video-to-audio generation faithfully on the observed visual content despite training from uncurated clips with natural background sounds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google