Conformers are All You Need for Visual Speech Recognition

要約

視覚的音声認識モデルは、階層的な方法で視覚的特徴を抽出します。
下位レベルには、唇や顔を表す生のピクセルを処理する、限られた時間的受容野を備えた視覚フロントエンドがあります。
より高いレベルには、大きな時間的受容野にわたってフロントエンドによって生成されたエンベディングを処理するエンコーダーがあります。
これまでの研究では、モデルの視覚的なフロントエンドを改善して、音声認識に役立つ機能をさらに抽出することに重点を置いてきました。
驚いたことに、私たちの研究は、複雑なビジュアルフロントエンドが必要ないことを示しています。
洗練されたビジュアル フロントエンドにリソースを割り当てる代わりに、線形ビジュアル フロントエンドをより大きな Conformer エンコーダーと組み合わせることで、レイテンシーが短縮され、メモリ使用量がより効率的になり、WER パフォーマンスが向上することがわかりました。
私たちは、TED LRS3 データセット上の視覚音声認識で 12.8% の WER という新たな最先端の性能を達成しました。これは、わずか 4 年前の音声のみのモデルのパフォーマンスに匹敵します。

要約(オリジナル)

Visual speech recognition models extract visual features in a hierarchical manner. At the lower level, there is a visual front-end with a limited temporal receptive field that processes the raw pixels depicting the lips or faces. At the higher level, there is an encoder that attends to the embeddings produced by the front-end over a large temporal receptive field. Previous work has focused on improving the visual front-end of the model to extract more useful features for speech recognition. Surprisingly, our work shows that complex visual front-ends are not necessary. Instead of allocating resources to a sophisticated visual front-end, we find that a linear visual front-end paired with a larger Conformer encoder results in lower latency, more efficient memory usage, and improved WER performance. We achieve a new state-of-the-art of 12.8% WER for visual speech recognition on the TED LRS3 dataset, which rivals the performance of audio-only models from just four years ago.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google