Open-Amp: Synthetic Data Framework for Audio Effect Foundation Models

要約

本稿では、大規模かつ多様なオーディオエフェクトデータを生成するための合成データフレームワークであるOpen-Ampについて紹介します。
オーディオ エフェクトは、アナログ オーディオ エフェクトのモデリング、自動ミキシング、トーン マッチング、トランスクリプションなど、多くの音楽オーディオ処理や音楽情報検索 (MIR) タスクに関連します。
既存のオーディオ エフェクト データセットは範囲が限られており、通常は比較的少数のオーディオ エフェクト プロセッサと限られた量の入力オーディオ信号が含まれています。
私たちが提案するフレームワークは、オープンソースのオーディオ エフェクト エミュレーション ソフトウェアのユーザーが作成したギター アンプとエフェクトのニューラル ネットワーク エミュレーションをクラウドソーシングすることで、これらの問題を克服します。
これにより、Open-Amp のユーザーは、エフェクト モデルによって処理される入力信号を完全に制御できるだけでなく、数百のデバイスの高品質なエミュレーションを提供できるようになります。
Open-Amp はトレーニング中にオーディオをオンラインでレンダリングできるため、データ拡張に優れた柔軟性が得られます。
私たちの実験では、Open-Amp を使用してギター エフェクト エンコーダーをトレーニングすると、複数のギター エフェクト分類タスクで新しい最先端の結果が得られることがわかりました。
さらに、Open-Amp を使用して 1 対多のギター エフェクト モデルをトレーニングし、学習された潜在空間の操作を通じて目に見えないアナログ エフェクトをエミュレートするために使用します。これは、アナログ ギター エフェクト データへの転送可能性を示しています。

要約(オリジナル)

This paper introduces Open-Amp, a synthetic data framework for generating large-scale and diverse audio effects data. Audio effects are relevant to many musical audio processing and Music Information Retrieval (MIR) tasks, such as modelling of analog audio effects, automatic mixing, tone matching and transcription. Existing audio effects datasets are limited in scope, usually including relatively few audio effects processors and a limited amount of input audio signals. Our proposed framework overcomes these issues, by crowdsourcing neural network emulations of guitar amplifiers and effects, created by users of open-source audio effects emulation software. This allows users of Open-Amp complete control over the input signals to be processed by the effects models, as well as providing high-quality emulations of hundreds of devices. Open-Amp can render audio online during training, allowing great flexibility in data augmentation. Our experiments show that using Open-Amp to train a guitar effects encoder achieves new state-of-the-art results on multiple guitar effects classification tasks. Furthermore, we train a one-to-many guitar effects model using Open-Amp, and use it to emulate unseen analog effects via manipulation of its learned latent space, indicating transferability to analog guitar effects data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google