AVATAR: Unconstrained Audiovisual Speech Recognition

要約

視聴覚自動音声認識（AV-ASR）は、ASRの拡張機能であり、多くの場合、話者の口の動きからの視覚的な手がかりを組み込んでいます。
唇の動きだけに焦点を当てた作品とは異なり、視覚的なフレーム全体（視覚的なアクション、オブジェクト、背景など）の寄与を調査します。
これは、スピーカーが必ずしも表示されない制約のないビデオに特に役立ちます。
このタスクを解決するために、スペクトログラムとフルフレームRGBからエンドツーエンドでトレーニングされる新しいシーケンス間AudioVisual ASR TrAnsformeR（AVATAR）を提案します。
オーディオストリームがトレーニングを支配するのを防ぐために、さまざまな単語マスキング戦略を提案し、それによってモデルがビジュアルストリームに注意を払うように促します。
特にシミュレートされたノイズが存在する場合に、How2 AV-ASRベンチマークでの視覚的モダリティの寄与を示し、モデルが他のすべての以前の作業を大幅に上回っていることを示します。
最後に、VisSpeechと呼ばれるAV-ASR用の新しい実際のテストベッドも作成します。これは、困難なオーディオ条件下での視覚モダリティの貢献を示しています。

要約(オリジナル)

Audio-visual automatic speech recognition (AV-ASR) is an extension of ASR that incorporates visual cues, often from the movements of a speaker’s mouth. Unlike works that simply focus on the lip motion, we investigate the contribution of entire visual frames (visual actions, objects, background etc.). This is particularly useful for unconstrained videos, where the speaker is not necessarily visible. To solve this task, we propose a new sequence-to-sequence AudioVisual ASR TrAnsformeR (AVATAR) which is trained end-to-end from spectrograms and full-frame RGB. To prevent the audio stream from dominating training, we propose different word-masking strategies, thereby encouraging our model to pay attention to the visual stream. We demonstrate the contribution of the visual modality on the How2 AV-ASR benchmark, especially in the presence of simulated noise, and show that our model outperforms all other prior work by a large margin. Finally, we also create a new, real-world test bed for AV-ASR called VisSpeech, which demonstrates the contribution of the visual modality under challenging audio conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google