AUDIT: Audio Editing by Following Instructions with Latent Diffusion Models

要約

タイトル: AUDIT: Audio Editing by Following Instructions with Latent Diffusion Models

要約:

– 音声編集は、背景音効果の追加、楽器の置き換え、損傷した音声を修復するなど、様々な目的に適用される
– 従来の音声編集には問題があり、うまく編集効果を保証できず、編集する必要のない音声部分を誤って変更することがある
– 本研究では、AUDITという、潜在拡散モデルに基づく指示に従った音声編集モデルを提案している
– AUDITは三つの主な設計特徴があり、編集タスクのためのトリプレットトレーニングデータを構築し、指示と入力音声(編集対象)を条件とし、出力(編集済み)音声を生成する拡散モデルをトレーニングすることができる
– AUDITは、入力と出力音声の違いを比較して、編集が必要なセグメントのみを自動的に変更することができ、また、完全なターゲット音声記述ではなく、編集指示だけをテキスト入力として必要とする
– AUDITは、いくつかの音声編集タスク(追加、ドロップ、置換、インペインティング、スーパーレゾリューション)において、客観的および主観的評価指標において最先端の結果を達成している
– また、AUDITのデモサンプルは、https://audit-demo.github.io/で利用可能である。

要約(オリジナル)

Audio editing is applicable for various purposes, such as adding background sound effects, replacing a musical instrument, and repairing damaged audio. Recently, some diffusion-based methods achieved zero-shot audio editing by using a diffusion and denoising process conditioned on the text description of the output audio. However, these methods still have some problems: 1) they have not been trained on editing tasks and cannot ensure good editing effects; 2) they can erroneously modify audio segments that do not require editing; 3) they need a complete description of the output audio, which is not always available or necessary in practical scenarios. In this work, we propose AUDIT, an instruction-guided audio editing model based on latent diffusion models. Specifically, AUDIT has three main design features: 1) we construct triplet training data (instruction, input audio, output audio) for different audio editing tasks and train a diffusion model using instruction and input (to be edited) audio as conditions and generating output (edited) audio; 2) it can automatically learn to only modify segments that need to be edited by comparing the difference between the input and output audio; 3) it only needs edit instructions instead of full target audio descriptions as text input. AUDIT achieves state-of-the-art results in both objective and subjective metrics for several audio editing tasks (e.g., adding, dropping, replacement, inpainting, super-resolution). Demo samples are available at https://audit-demo.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI