Audio-Visual Efficient Conformer for Robust Speech Recognition

要約

ニューラルネットワークに基づくエンドツーエンドの自動音声認識（ASR）システムは、近年大きな改善を見せています。大規模な手書きラベル付けデータセットと十分な計算資源が利用可能になったことで、強力なディープニューラルネットワークの学習が可能になり、学術的ベンチマークで非常に低い単語誤り率（WER）に到達しました。しかし、クリーンな音声サンプルでは素晴らしい性能を発揮するものの、ノイズの多い音声では性能の低下がしばしば観察される。本研究では、最近提案されたEfficient Conformer Connectionist Temporal Classification (CTC)に基づくアーキテクチャのノイズ耐性を、音声と視覚の両方のモダリティを処理することで改善することを提案する。我々は、ResNet-18視覚フロントエンドの上にEfficient Conformerバックエンドを用い、ブロック間に中間CTC損失を加えることにより、従来の読唇術を改善する。CTCベースのモデルの条件付き独立性の仮定を緩和するために、インターCTC残差モジュールを用いて、中間ブロックの特徴を早期予測に条件付ける。また、Efficient Conformerのグループ化された注意を、より効率的で単純な注意メカニズムに置き換え、パッチ注意と呼ぶ。我々は一般に公開されているLip Reading Sentences 2 (LRS2)とLip Reading Sentences 3 (LRS3)のデータセットで実験を行った。この実験により、音声と視覚のモダリティを用いることで、環境ノイズの存在下でもより適切に音声を認識できること、また、学習を大幅に高速化し、4倍少ない学習ステップでより低いWERに到達できることが示された。また、AVEC(Audio-Visual Efficient Conformer)モデルは、LRS2およびLRS3のテストセットにおいて、WERが2.3%および1.8%と、最先端の性能を達成した。コードと事前学習済みモデルは https://github.com/burchim/AVEC で入手可能です。

要約(オリジナル)

End-to-end Automatic Speech Recognition (ASR) systems based on neural networks have seen large improvements in recent years. The availability of large scale hand-labeled datasets and sufficient computing resources made it possible to train powerful deep neural networks, reaching very low Word Error Rate (WER) on academic benchmarks. However, despite impressive performance on clean audio samples, a drop of performance is often observed on noisy speech. In this work, we propose to improve the noise robustness of the recently proposed Efficient Conformer Connectionist Temporal Classification (CTC)-based architecture by processing both audio and visual modalities. We improve previous lip reading methods using an Efficient Conformer back-end on top of a ResNet-18 visual front-end and by adding intermediate CTC losses between blocks. We condition intermediate block features on early predictions using Inter CTC residual modules to relax the conditional independence assumption of CTC-based models. We also replace the Efficient Conformer grouped attention by a more efficient and simpler attention mechanism that we call patch attention. We experiment with publicly available Lip Reading Sentences 2 (LRS2) and Lip Reading Sentences 3 (LRS3) datasets. Our experiments show that using audio and visual modalities allows to better recognize speech in the presence of environmental noise and significantly accelerate training, reaching lower WER with 4 times less training steps. Our Audio-Visual Efficient Conformer (AVEC) model achieves state-of-the-art performance, reaching WER of 2.3% and 1.8% on LRS2 and LRS3 test sets. Code and pretrained models are available at https://github.com/burchim/AVEC.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL