T-FOLEY: A Controllable Waveform-Domain Diffusion Model for Temporal-Event-Guided Foley Sound Synthesis

要約

フォーリー サウンド、つまりビデオと同時に挿入されるオーディオ コンテンツは、マルチメディア コンテンツのユーザー エクスペリエンスにおいて重要な役割を果たします。
最近、深層生成モデルの進歩を活用したフォーリーサウンド合成の研究が活発に行われています。
ただし、そのような作品は主に単一のサウンド クラスまたはテキストによるサウンドの説明を複製することに重点を置き、フォーリー サウンドの実際の応用において重要な時間情報を無視しています。
我々は、フォーリー音声合成のための時間イベントガイド波形生成モデルである T-Foley を紹介します。
T-Foley は、サウンド クラスと時間イベント機能という 2 つの条件を使用して高品質のオーディオを生成します。
時間的条件付けのために、時間的イベント機能と Block-FiLM と呼ばれる新しい条件付け手法を考案しました。
T-Foley は、客観的評価基準と主観的評価基準の両方で優れたパフォーマンスを実現し、時間的イベントとよく同期したフォーリー サウンドを生成します。
さらに、特に一時的なイベント制御のための音声模倣を含むシナリオにおける T-Foley の実用的なアプリケーションを紹介します。
デモは当社のウェブサイトでご覧いただけます。

要約(オリジナル)

Foley sound, audio content inserted synchronously with videos, plays a critical role in the user experience of multimedia content. Recently, there has been active research in Foley sound synthesis, leveraging the advancements in deep generative models. However, such works mainly focus on replicating a single sound class or a textual sound description, neglecting temporal information, which is crucial in the practical applications of Foley sound. We present T-Foley, a Temporal-event-guided waveform generation model for Foley sound synthesis. T-Foley generates high-quality audio using two conditions: the sound class and temporal event feature. For temporal conditioning, we devise a temporal event feature and a novel conditioning technique named Block-FiLM. T-Foley achieves superior performance in both objective and subjective evaluation metrics and generates Foley sound well-synchronized with the temporal events. Additionally, we showcase T-Foley’s practical applications, particularly in scenarios involving vocal mimicry for temporal event control. We show the demo on our companion website.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google