Action2Sound: Ambient-Aware Generation of Action Sounds from Egocentric Videos

要約

人間の動作に合わせてリアルなオーディオを生成することは、映画や仮想現実ゲームの音響効果の作成など、多くのアプリケーションにとって重要です。
既存のアプローチは、トレーニング中にビデオとオーディオが完全に一致していることを暗黙的に想定していますが、多くの音は画面外で発生し、ビジュアルとの対応が弱いかまったくありません。その結果、テスト時に制御されない周囲の音や幻覚が発生します。
我々は、新しいアンビエントアウェアオーディオ生成モデル、AV-LDM を提案します。
私たちは、野外トレーニング ビデオ内で前景の動作音と周囲の背景音を分離する方法を学習するための新しいオーディオ調整メカニズムを考案しました。
新しいサイレントビデオが与えられた場合、私たちのモデルは検索拡張生成を使用して、意味的にも時間的にもビジュアルコンテンツと一致するオーディオを作成します。
私たちは、Ego4D と EPIC-KITCHEN という 2 つの実際の自己中心的なビデオ データセットでモデルをトレーニングおよび評価し、アクションとオーディオの対応を備えた 120 万個の厳選されたクリップである Ego4D-Sounds を導入します。
私たちのモデルは、既存のさまざまな方法よりも優れたパフォーマンスを発揮し、周囲の音の制御可能な生成を可能にし、コンピューター グラフィックスのゲーム クリップに一般化する可能性さえ示しています。
全体として、私たちのアプローチは、自然な背景音を含む厳選されていないクリップからトレーニングしたにもかかわらず、観察されたビジュアルコンテンツに忠実にビデオからオーディオへの生成に焦点を当てた最初のアプローチです。

要約(オリジナル)

Generating realistic audio for human actions is important for many applications, such as creating sound effects for films or virtual reality games. Existing approaches implicitly assume total correspondence between the video and audio during training, yet many sounds happen off-screen and have weak to no correspondence with the visuals — resulting in uncontrolled ambient sounds or hallucinations at test time. We propose a novel ambient-aware audio generation model, AV-LDM. We devise a novel audio-conditioning mechanism to learn to disentangle foreground action sounds from the ambient background sounds in in-the-wild training videos. Given a novel silent video, our model uses retrieval-augmented generation to create audio that matches the visual content both semantically and temporally. We train and evaluate our model on two in-the-wild egocentric video datasets, Ego4D and EPIC-KITCHENS, and we introduce Ego4D-Sounds — 1.2M curated clips with action-audio correspondence. Our model outperforms an array of existing methods, allows controllable generation of the ambient sound, and even shows promise for generalizing to computer graphics game clips. Overall, our approach is the first to focus video-to-audio generation faithfully on the observed visual content despite training from uncurated clips with natural background sounds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google