An Analysis of the Variance of Diffusion-based Speech Enhancement

要約

拡散モデルは、生成音声強化のための強力なモデルであることが証明されました。
最近の SGMSE+ アプローチでは、トレーニングに拡散プロセスの確率微分方程式が含まれ、ガウス ノイズと環境ノイズの両方がクリーンな音声信号に徐々に追加されます。
音声強調のパフォーマンスは、環境ノイズとガウス ノイズを追加する際の拡散プロセスに沿った平均と分散の変化を制御する確率微分方程式の選択によって異なります。
この研究では、分散のスケールが音声強調パフォーマンスの主要なパラメータであることを強調し、それがノイズの減衰と音声の歪みの間のトレードオフを制御することを示します。
より具体的には、分散が大きいほどノイズの減衰が増加し、推定値を生成するために必要な関数評価が少なくなるため、計算量を削減できることを示します。

要約(オリジナル)

Diffusion models proved to be powerful models for generative speech enhancement. In recent SGMSE+ approaches, training involves a stochastic differential equation for the diffusion process, adding both Gaussian and environmental noise to the clean speech signal gradually. The speech enhancement performance varies depending on the choice of the stochastic differential equation that controls the evolution of the mean and the variance along the diffusion processes when adding environmental and Gaussian noise. In this work, we highlight that the scale of the variance is a dominant parameter for speech enhancement performance and show that it controls the tradeoff between noise attenuation and speech distortions. More concretely, we show that a larger variance increases the noise attenuation and allows for reducing the computational footprint, as fewer function evaluations for generating the estimate are required.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google