Modulation Extraction for LFO-driven Audio Effects

要約

フェイザー、フランジャー、コーラスなどの低周波発振器 (LFO) 駆動のオーディオ エフェクトは、時変フィルターや遅延を使用して入力信号を変更し、特徴的なスイープまたはワイド効果をもたらします。
これらの効果は、グラウンド トゥルース LFO 信号で条件付けされた場合、ニューラル ネットワークを使用してモデル化できることが示されています。
ただし、ほとんどの場合、LFO 信号にアクセスできず、オーディオ信号からの測定は重要であり、モデリング プロセスの妨げとなります。
これに対処するために、複数のデジタル オーディオ エフェクト、パラメータ設定、楽器構成にわたって処理されたオーディオから任意の LFO 信号を抽出できるフレームワークを提案します。
私たちのシステムは LFO 信号の形状に制限を課さないため、エフェクト モデリングに関連する準周期的、結合された、歪んだ変調信号を抽出する能力を実証します。
さらに、抽出モデルを単純な処理ネットワークと組み合わせることで、ドライオーディオとウェットオーディオのペアのみを使用して、目に見えないアナログまたはデジタル LFO 駆動のオーディオエフェクトのエンドツーエンドのブラックボックスモデルのトレーニングが可能になり、
オーディオエフェクトまたは内部 LFO 信号。
コードを利用可能にし、トレーニングされたオーディオ エフェクト モデルをリアルタイム VST プラグインで提供します。

要約(オリジナル)

Low frequency oscillator (LFO) driven audio effects such as phaser, flanger, and chorus, modify an input signal using time-varying filters and delays, resulting in characteristic sweeping or widening effects. It has been shown that these effects can be modeled using neural networks when conditioned with the ground truth LFO signal. However, in most cases, the LFO signal is not accessible and measurement from the audio signal is nontrivial, hindering the modeling process. To address this, we propose a framework capable of extracting arbitrary LFO signals from processed audio across multiple digital audio effects, parameter settings, and instrument configurations. Since our system imposes no restrictions on the LFO signal shape, we demonstrate its ability to extract quasiperiodic, combined, and distorted modulation signals that are relevant to effect modeling. Furthermore, we show how coupling the extraction model with a simple processing network enables training of end-to-end black-box models of unseen analog or digital LFO-driven audio effects using only dry and wet audio pairs, overcoming the need to access the audio effect or internal LFO signal. We make our code available and provide the trained audio effect models in a real-time VST plugin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google