Performance Conditioning for Diffusion-Based Multi-Instrument Music Synthesis

要約

記号的な音楽表現から複数の楽器による音楽を生成することは、音楽情報検索 (MIR) における重要なタスクです。
この文脈における中心的な、しかしまだほとんど解決されていない問題は、生成プロセスにおける音楽的および音響的な情報に基づいた制御です。
この研究の主な貢献として、特定の演奏および録音環境に基づいて生成モデルを調整することにより、複数の楽器の合成の制御を強化し、音色とスタイルのより良いガイドを可能にすることを提案します。
最先端の拡散ベースの音楽生成モデルに基づいて、特定の演奏から得られた特定の楽器のスタイルと音色を備えた音楽を合成するための生成モデルを示す単純なツールであるパフォーマンス コンディショニングを導入します。
私たちのプロトタイプは、多様な楽器編成による厳選されていないパフォーマンスを使用して評価され、斬新な音色とスタイルの制御を可能にしながら、最先端の FAD リアリズム スコアを達成しています。
サンプルとデモンストレーションを含むプロジェクト ページは、benadar293.github.io/midipm で入手できます。

要約(オリジナル)

Generating multi-instrument music from symbolic music representations is an important task in Music Information Retrieval (MIR). A central but still largely unsolved problem in this context is musically and acoustically informed control in the generation process. As the main contribution of this work, we propose enhancing control of multi-instrument synthesis by conditioning a generative model on a specific performance and recording environment, thus allowing for better guidance of timbre and style. Building on state-of-the-art diffusion-based music generative models, we introduce performance conditioning – a simple tool indicating the generative model to synthesize music with style and timbre of specific instruments taken from specific performances. Our prototype is evaluated using uncurated performances with diverse instrumentation and achieves state-of-the-art FAD realism scores while allowing novel timbre and style control. Our project page, including samples and demonstrations, is available at benadar293.github.io/midipm

arxiv情報

提供元, 利用サービス

arxiv.jp, Google