Comparative Study of Recurrent Neural Networks for Virtual Analog Audio Effects Modeling

要約

アナログ電子回路は、音楽機器の重要なカテゴリーの中核です。
電子コンポーネントの非線形特性は、アナログ音楽機器に独特の音色と音質を与え、非常に望ましいものとなっています。
人工ニューラル ネットワークは、アナログ オーディオ エフェクト回路のエミュレーション、特にリカレント ネットワークとして急速に普及しています。
ニューラルアプローチは歪み回路を正確にモデル化することに成功していますが、パラメータ調整と低遅延応答を考慮したアーキテクチャの改善が必要です。
この記事では、仮想アナログ モデリングに対する最近の機械学習の進歩の応用について探ります。
状態空間モデルと線形リカレント ユニットを、より一般的な長短期記憶ネットワークと比較します。
これらは、モデリングタスクをシーケンスする際に有望な能力を示し、信号履歴エンコーディングの顕著な改善を示しています。
私たちの比較研究では、これらのブラック ボックス ニューラル モデリング技術とさまざまなオーディオ効果を使用しています。
オーディオ信号のエネルギーエンベロープ、周波数成分、トランジェントを正確に再現するモデルの能力を評価することを目的として、複数の指標を使用してパフォーマンスと制限を評価します。
制御パラメーターを組み込むために、機能ごとの線形変調方法を採用します。
Long Short Term Memory ネットワークは、歪みやイコライザーのエミュレーションにおいて優れた精度を示しますが、エンコーダ デコーダ構造に統合された場合、状態空間モデルとそれに続く Long Short Term Memory ネットワークは、飽和と圧縮のエミュレーションにおいて他のネットワークを上回ります。
長時間変動特性を考慮する場合、状態空間モデルが最も高い精度を示します。
Long Short Term Memory、特に Linear Recurrent Unit ネットワークでは、オーディオ アーティファクトが発生しやすい傾向があります。

要約(オリジナル)

Analog electronic circuits are at the core of an important category of musical devices. The nonlinear features of their electronic components give analog musical devices a distinctive timbre and sound quality, making them highly desirable. Artificial neural networks have rapidly gained popularity for the emulation of analog audio effects circuits, particularly recurrent networks. While neural approaches have been successful in accurately modeling distortion circuits, they require architectural improvements that account for parameter conditioning and low latency response. In this article, we explore the application of recent machine learning advancements for virtual analog modeling. We compare State Space models and Linear Recurrent Units against the more common Long Short Term Memory networks. These have shown promising ability in sequence to sequence modeling tasks, showing a notable improvement in signal history encoding. Our comparative study uses these black box neural modeling techniques with a variety of audio effects. We evaluate the performance and limitations using multiple metrics aiming to assess the models’ ability to accurately replicate energy envelopes, frequency contents, and transients in the audio signal. To incorporate control parameters we employ the Feature wise Linear Modulation method. Long Short Term Memory networks exhibit better accuracy in emulating distortions and equalizers, while the State Space model, followed by Long Short Term Memory networks when integrated in an encoder decoder structure, outperforms others in emulating saturation and compression. When considering long time variant characteristics, the State Space model demonstrates the greatest accuracy. The Long Short Term Memory and, in particular, Linear Recurrent Unit networks present more tendency to introduce audio artifacts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google