Anti-aliasing of neural distortion effects via model fine tuning

要約

ニューラルネットワークは、近年ギターの歪み効果モデリングで遍在しています。
知覚的に説得力のあるモデルを生成する能力にもかかわらず、高頻度と高ゲインの入力によって駆動されると、周波数エイリアシングの影響を受けやすくなります。
非線形活性化関数は、信号の帯域幅がナイキスト周波数を超えて拡張されるため、目的の高調波歪みと不要なエイリアシング歪みの両方を作成します。
ここでは、教師が体重を凍結した事前に訓練されたモデルであり、学生は学習可能なパラメーターを備えたコピーである教師の学生の微調整アプローチを介して、神経モデルのエイリアシングを減らす方法を提示します。
学生は、元のモデルに正弦波を渡し、出力スペクトルから非調和コンポーネントを削除することにより生成されたエイリアシングフリーのデータセットに対して微調整されます。
我々の結果は、この方法が、長期タームメモリネットワーク（LSTM）と時間的畳み込みネットワーク（TCN）の両方のエイリアシングを大幅に抑制することを示しています。
私たちのケーススタディの大部分では、エイリアシングの減少は、2倍のオーバーサンプリングによって達成されたものよりも大きかった。
提案された方法の副作用の1つは、高調波歪み成分も影響を受けることです。
この悪影響はモデル依存であることがわかっており、LSTMモデルは、アナログ参照デバイスとの類似性を拡張し、保存するための最良のバランスをとっています。

要約(オリジナル)

Neural networks have become ubiquitous with guitar distortion effects modelling in recent years. Despite their ability to yield perceptually convincing models, they are susceptible to frequency aliasing when driven by high frequency and high gain inputs. Nonlinear activation functions create both the desired harmonic distortion and unwanted aliasing distortion as the bandwidth of the signal is expanded beyond the Nyquist frequency. Here, we present a method for reducing aliasing in neural models via a teacher-student fine tuning approach, where the teacher is a pre-trained model with its weights frozen, and the student is a copy of this with learnable parameters. The student is fine-tuned against an aliasing-free dataset generated by passing sinusoids through the original model and removing non-harmonic components from the output spectra. Our results show that this method significantly suppresses aliasing for both long-short-term-memory networks (LSTM) and temporal convolutional networks (TCN). In the majority of our case studies, the reduction in aliasing was greater than that achieved by two times oversampling. One side-effect of the proposed method is that harmonic distortion components are also affected. This adverse effect was found to be model-dependent, with the LSTM models giving the best balance between anti-aliasing and preserving the perceived similarity to an analog reference device.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google