Stable-V2A: Synthesis of Synchronized Sound Effects with Temporal and Semantic Controls

要約

サウンド デザイナーやフォーリー アーティストは通常​​、ビデオ内の関心のある各アクションに手動で注釈を付けてソノーライズすることによって、映画やビデオ ゲームなどのシーンをソノーライズします。
私たちの場合、その目的は、サウンド デザイナーが作業のより反復的な部分を回避できるツールを使用して、クリエイティブなコントロールを完全にサウンド デザイナーに任せ、サウンド制作のクリエイティブな側面に集中できるようにすることです。
私たちはこれを実現する Stable-V2A という 2 段階のモデルで構成されます。入力ビデオに関連付けられたオーディオ特性を表すエンベロープを推定する RMS マッパー。
Stable-Foley は、Stable Audio Open に基づく拡散モデルで、ターゲット ビデオと意味論的および時間的に整合したオーディオを生成します。
時間的整合は、エンベロープを ControlNet 入力として使用することによって保証されますが、セマンティックな整合は、拡散プロセスのクロスアテンション コンディショニングとして設計者が選択したサウンド表現を使用することによって実現されます。
V2A モデルの評価に一般的に使用されるデータセットである Greatest Hits でモデルをトレーニングおよびテストします。
さらに、興味深いケーススタディでモデルをテストするために、さまざまな場所を歩くアニメーション キャラクターを描いたビデオ ゲームから抽出されたビデオのデータセットである Walking The Maps を紹介します。
サンプルとコードは、https://ispamm.github.io/Stable-V2A のデモ ページで入手できます。

要約(オリジナル)

Sound designers and Foley artists usually sonorize a scene, such as from a movie or video game, by manually annotating and sonorizing each action of interest in the video. In our case, the intent is to leave full creative control to sound designers with a tool that allows them to bypass the more repetitive parts of their work, thus being able to focus on the creative aspects of sound production. We achieve this presenting Stable-V2A, a two-stage model consisting of: an RMS-Mapper that estimates an envelope representative of the audio characteristics associated with the input video; and Stable-Foley, a diffusion model based on Stable Audio Open that generates audio semantically and temporally aligned with the target video. Temporal alignment is guaranteed by the use of the envelope as a ControlNet input, while semantic alignment is achieved through the use of sound representations chosen by the designer as cross-attention conditioning of the diffusion process. We train and test our model on Greatest Hits, a dataset commonly used to evaluate V2A models. In addition, to test our model on a case study of interest, we introduce Walking The Maps, a dataset of videos extracted from video games depicting animated characters walking in different locations. Samples and code available on our demo page at https://ispamm.github.io/Stable-V2A.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google