XLAVS-R: Cross-Lingual Audio-Visual Speech Representation Learning for Noise-Robust Speech Perception

要約

音声認識および翻訳システムは、現実の環境では頻繁に発生するノイズの多い入力ではパフォーマンスが低下します。
これらのシステムを視覚信号で強化すると、ノイズに対する堅牢性が向上する可能性があります。
ただし、オーディオビジュアル (AV) データは限られた量しか利用できず、オーディオのみのリソースに比べて言語も少なくなります。
このギャップに対処するために、100 を超える言語でノイズに強い音声認識と翻訳を行うための、言語を超えたオーディオビジュアル音声表現モデルである XLAVS-R を紹介します。
これは、音声のみの多言語事前トレーニングの上に構築し、既存の事前トレーニング スキームを簡素化することで、限られた多言語 AV 事前トレーニング データの利点を最大化するように設計されています。
MuAViC ベンチマークでの広範な評価により、ダウンストリームのオーディオビジュアル音声認識および翻訳タスクにおける XLAVS-R の強みが示されており、ノイズの多い AV 入力を考慮した場合、以前の最先端技術よりも最大 18.5% の WER および 4.7 BLEU のパフォーマンスを上回り、強力な音声認識が可能になります。
オーディオのみの微調整によるゼロショットのオーディオビジュアル機能。

要約(オリジナル)

Speech recognition and translation systems perform poorly on noisy inputs, which are frequent in realistic environments. Augmenting these systems with visual signals has the potential to improve robustness to noise. However, audio-visual (AV) data is only available in limited amounts and for fewer languages than audio-only resources. To address this gap, we present XLAVS-R, a cross-lingual audio-visual speech representation model for noise-robust speech recognition and translation in over 100 languages. It is designed to maximize the benefits of limited multilingual AV pre-training data, by building on top of audio-only multilingual pre-training and simplifying existing pre-training schemes. Extensive evaluation on the MuAViC benchmark shows the strength of XLAVS-R on downstream audio-visual speech recognition and translation tasks, where it outperforms the previous state of the art by up to 18.5% WER and 4.7 BLEU given noisy AV inputs, and enables strong zero-shot audio-visual ability with audio-only fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google