Hold Me Tight: Stable Encoder-Decoder Design for Speech Enhancement

要約

1 次元フィルターを備えた畳み込み層は、オーディオ信号をエンコードするためのフロントエンドとしてよく使用されます。
固定された時間周波数表現とは異なり、入力データの局所的な特性に適応できます。
ただし、生のオーディオの 1-D フィルターはトレーニングが難しく、不安定になることがよくあります。
このペーパーでは、ハイブリッド ソリューション、つまり理論主導のアプローチとデータ主導のアプローチを組み合わせて、これらの問題に対処します。
まず、聴覚フィルターバンクを介してオーディオ信号を前処理し、学習されたエンコーダーの適切な周波数定位を保証します。
次に、フレーム理論の結果を使用して、エネルギー保存と完全な再構築を促進する教師なし学習目標を定義します。
第三に、混合圧縮スペクトルノルムを学習目標としてエンコーダ係数に適応させます。
複雑さの低いエンコーダ/マスク/デコーダ モデルでこれらのソリューションを使用すると、音声強調における音声品質の知覚評価 (PESQ) が大幅に向上します。

要約(オリジナル)

Convolutional layers with 1-D filters are often used as frontend to encode audio signals. Unlike fixed time-frequency representations, they can adapt to the local characteristics of input data. However, 1-D filters on raw audio are hard to train and often suffer from instabilities. In this paper, we address these problems with hybrid solutions, i.e., combining theory-driven and data-driven approaches. First, we preprocess the audio signals via a auditory filterbank, guaranteeing good frequency localization for the learned encoder. Second, we use results from frame theory to define an unsupervised learning objective that encourages energy conservation and perfect reconstruction. Third, we adapt mixed compressed spectral norms as learning objectives to the encoder coefficients. Using these solutions in a low-complexity encoder-mask-decoder model significantly improves the perceptual evaluation of speech quality (PESQ) in speech enhancement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google