Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels

要約

オーディオビジュアル音声認識は、音響ノイズに対する堅牢性により多くの注目を集めています。
最近、自動音声認識、視覚音声認識、視聴覚音声認識 (それぞれ ASR、VSR、AV-ASR) のパフォーマンスが、主に大規模なモデルとトレーニング セットの使用により大幅に向上しました。
ただし、データセットの正確なラベル付けには時間と費用がかかります。
したがって、この研究では、トレーニング セットのサイズを増やすために、ラベルのないデータセットの自動生成された転写の使用を調査します。
この目的のために、私たちは公開されている事前トレーニングされた ASR モデルを使用して、AVSpeech や VoxCeleb2 などのラベルのないデータセットを自動的に転写します。
次に、LRS2 および LRS3 データセットと追加の自動転写データで構成される拡張トレーニング セットで ASR、VSR、および AV-ASR モデルをトレーニングします。
文献における最近の傾向であるトレーニング セットのサイズを増やすと、ノイズの多い文字起こしを使用したにもかかわらず WER が低下することを示します。
提案されたモデルは、LRS2 および LRS3 上の AV-ASR で新しい最先端のパフォーマンスを実現します。
特に、LRS3 では WER 0.9% を達成しており、これは現在の最先端のアプローチと比較して 30% の相対的な改善であり、26 倍のトレーニング データを使用して非公開のデータセットでトレーニングされた手法よりも優れています。
。

要約(オリジナル)

Audio-visual speech recognition has received a lot of attention due to its robustness against acoustic noise. Recently, the performance of automatic, visual, and audio-visual speech recognition (ASR, VSR, and AV-ASR, respectively) has been substantially improved, mainly due to the use of larger models and training sets. However, accurate labelling of datasets is time-consuming and expensive. Hence, in this work, we investigate the use of automatically-generated transcriptions of unlabelled datasets to increase the training set size. For this purpose, we use publicly-available pre-trained ASR models to automatically transcribe unlabelled datasets such as AVSpeech and VoxCeleb2. Then, we train ASR, VSR and AV-ASR models on the augmented training set, which consists of the LRS2 and LRS3 datasets as well as the additional automatically-transcribed data. We demonstrate that increasing the size of the training set, a recent trend in the literature, leads to reduced WER despite using noisy transcriptions. The proposed model achieves new state-of-the-art performance on AV-ASR on LRS2 and LRS3. In particular, it achieves a WER of 0.9% on LRS3, a relative improvement of 30% over the current state-of-the-art approach, and outperforms methods that have been trained on non-publicly available datasets with 26 times more training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google