MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition

要約

自動音声認識 (ASR) システムは騒がしい環境では大幅に性能が低下しますが、オーディオビジュアル音声認識 (AVSR) システムは、ノイズに影響されない視覚的な手がかりでオーディオ ストリームを補完し、システムの堅牢性を向上させることを目的としています。
しかし、現在の研究は主に、モダリティ固有のエンコーダーの出力など、十分に学習されたモダリティ特徴を融合することに焦点を当てており、モダリティ特徴の学習中の文脈上の関係は考慮されていません。
この研究では、オーディオ/ビジュアルエンコーダの異なるレベルで融合することによって各モダリティの表現学習を促進する、多層クロスアテンションフュージョンベースのAVSR（MLCA-AVSR）アプローチを提案します。
MISP2022-AVSR Challenge データセットの実験結果は、評価セットで 30.57% の連結最小順列文字誤り率 (cpCER) を達成し、ランク付けされた以前のシステムと比較して最大 3.17% の相対的改善をもたらし、私たちの提案システムの有効性を示しています。
チャレンジでは2位。
複数のシステムを融合した後、私たちが提案したアプローチは最初のシステムを上回り、このデータセットで 29.13% という新しい SOTA cpCER を確立しました。

要約(オリジナル)

While automatic speech recognition (ASR) systems degrade significantly in noisy environments, audio-visual speech recognition (AVSR) systems aim to complement the audio stream with noise-invariant visual cues and improve the system’s robustness. However, current studies mainly focus on fusing the well-learned modality features, like the output of modality-specific encoders, without considering the contextual relationship during the modality feature learning. In this study, we propose a multi-layer cross-attention fusion based AVSR (MLCA-AVSR) approach that promotes representation learning of each modality by fusing them at different levels of audio/visual encoders. Experimental results on the MISP2022-AVSR Challenge dataset show the efficacy of our proposed system, achieving a concatenated minimum permutation character error rate (cpCER) of 30.57% on the Eval set and yielding up to 3.17% relative improvement compared with our previous system which ranked the second place in the challenge. Following the fusion of multiple systems, our proposed approach surpasses the first-place system, establishing a new SOTA cpCER of 29.13% on this dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google