Active Speech Enhancement: Active Speech Denoising Decliping and Deveraberation

要約

アクティブなサウンド変更のための新しいパラダイムを紹介します：アクティブな音声強化（ASE）。
アクティブなノイズキャンセル（ANC）アルゴリズムは、外部干渉の抑制に焦点を当てていますが、ASEは音声信号を積極的に形作ることでさらに進みます – 不要なノイズ成分を減衰させ、音声関連周波数を増幅して、明瞭度と知覚品質を向上させます。
これを有効にするために、干渉抑制と信号濃縮を共同で最適化するように設計されたタスク固有の損失関数とともに、新しい変圧器マンバベースのアーキテクチャを提案します。
私たちの方法は、除去、逆方向、および削減など、複数の音声処理タスクにわたって既存のベースラインを上回り、挑戦的な音響環境におけるアクティブなターゲット変調の有効性を示しています。

要約(オリジナル)

We introduce a new paradigm for active sound modification: Active Speech Enhancement (ASE). While Active Noise Cancellation (ANC) algorithms focus on suppressing external interference, ASE goes further by actively shaping the speech signal — both attenuating unwanted noise components and amplifying speech-relevant frequencies — to improve intelligibility and perceptual quality. To enable this, we propose a novel Transformer-Mamba-based architecture, along with a task-specific loss function designed to jointly optimize interference suppression and signal enrichment. Our method outperforms existing baselines across multiple speech processing tasks — including denoising, dereverberation, and declipping — demonstrating the effectiveness of active, targeted modulation in challenging acoustic environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google