Exploration of Adapter for Noise Robust Automatic Speech Recognition

要約

目に見えない騒音シナリオに対処するには、堅牢な自動音声認識 (ASR) システムを適応させることが重要です。
アダプターをニューラル ネットワークに統合することは、転移学習の強力な手法として浮上しています。
この論文では、アダプターベースのノイズに強い ASR 適応について徹底的に調査します。
CHiME–4 データセットを使用して実験を実施しました。
結果は、アダプターを浅い層に挿入すると優れた効果が得られ、浅い層内のみで適応する場合とすべての層にわたって適応する場合に大きな違いがないことがわかります。
さらに、シミュレートされたデータは、実際のノイズ条件下でシステムのパフォーマンスを向上させるのに役立ちます。
ただし、同じデータ量であれば、シミュレーションしたデータよりも実際のデータの方が効果が高くなります。
複数条件トレーニングは、アダプター トレーニングに対して引き続き有効です。
さらに、アダプターを音声強調ベースの ASR システムに統合すると、大幅な改善がもたらされます。

要約(オリジナル)

Adapting a robust automatic speech recognition (ASR) system to tackle unseen noise scenarios is crucial. Integrating adapters into neural networks has emerged as a potent technique for transfer learning. This paper thoroughly investigates adapter-based noise-robust ASR adaptation. We conducted the experiments using the CHiME–4 dataset. The results show that inserting the adapter in the shallow layer yields superior effectiveness, and there is no significant difference between adapting solely within the shallow layer and adapting across all layers. Besides, the simulated data helps the system to improve its performance under real noise conditions. Nonetheless, when the amount of data is the same, the real data is more effective than the simulated data. Multi-condition training remains valid for adapter training. Furthermore, integrating adapters into speech enhancement-based ASR systems yields substantial improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google