Wind Noise Reduction with a Diffusion-based Stochastic Regeneration Model

要約

この論文では、予測モデリングと生成モデリングを組み合わせた、以前に提案した拡散ベースの確率的再生モデルを使用した、単一チャネルの風雑音低減方法を紹介します。
風の流れやクリッピングの可能性によって引き起こされる膜の非線形変形を考慮するために、非加法的音声インノイズモデルを導入します。
私たちの確率的再生モデルは、シミュレートされた実際に記録された風雑音を使用したデータセット上で、他のニューラル ネットワーク ベースの風雑音低減手法や純粋な予測生成モデルよりも優れていることを示します。
さらに、実際に記録された風雑音を含む目に見えないデータセットでテストすることにより、提案された方法がよく一般化されることを示します。
提案された方法の音声サンプル、データ生成スクリプト、コードはオンライン (https://uhh.de/inf-sp-storm-wind) で見つけることができます。

要約(オリジナル)

In this paper we present a method for single-channel wind noise reduction using our previously proposed diffusion-based stochastic regeneration model combining predictive and generative modelling. We introduce a non-additive speech in noise model to account for the non-linear deformation of the membrane caused by the wind flow and possible clipping. We show that our stochastic regeneration model outperforms other neural-network-based wind noise reduction methods as well as purely predictive and generative models, on a dataset using simulated and real-recorded wind noise. We further show that the proposed method generalizes well by testing on an unseen dataset with real-recorded wind noise. Audio samples, data generation scripts and code for the proposed methods can be found online (https://uhh.de/inf-sp-storm-wind).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google