Investigation of Adapter for Automatic Speech Recognition in Noisy Environment

要約

自動音声認識 (ASR) システムを目に見えない騒音環境に適応させることが重要です。
アダプターをニューラル ネットワークに統合することは、転移学習の強力な手法として浮上しています。
この研究では、ノイズの多い環境におけるアダプターベースの ASR 適応を徹底的に調査します。
CHiME–4 データセットを使用して実験を実施しました。
結果は、アダプターを浅い層に挿入すると優れた効果が得られ、浅い層内のみで適応する場合とすべての層にわたって適応する場合に大きな違いがないことがわかります。
シミュレートされたデータは、実際のノイズ条件下でシステムのパフォーマンスを向上させるのに役立ちます。
ただし、同じデータ量であれば、シミュレーションしたデータよりも実際のデータの方が効果が高くなります。
複数条件のトレーニングは、アダプターのトレーニングに引き続き役立ちます。
さらに、アダプターを音声強調ベースの ASR システムに統合すると、大幅な改善がもたらされます。

要約(オリジナル)

Adapting an automatic speech recognition (ASR) system to unseen noise environments is crucial. Integrating adapters into neural networks has emerged as a potent technique for transfer learning. This study thoroughly investigates adapter-based ASR adaptation in noisy environments. We conducted experiments using the CHiME–4 dataset. The results show that inserting the adapter in the shallow layer yields superior effectiveness, and there is no significant difference between adapting solely within the shallow layer and adapting across all layers. The simulated data helps the system to improve its performance under real noise conditions. Nonetheless, when the amount of data is the same, the real data is more effective than the simulated data. Multi-condition training is still useful for adapter training. Furthermore, integrating adapters into speech enhancement-based ASR systems yields substantial improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google