The NPU-ASLP System Description for Visual Speech Recognition in CNVSRC 2024

要約

この論文は、第 2 回中国語連続視覚音声認識チャレンジ (CNVSRC 2024) で NPU-ASLP (チーム 237) によって導入された視覚音声認識 (VSR) システムについて概説します。
スピーカー VSR タスクとマルチスピーカー VSR タスク。
データ処理に関しては、ベースライン 1 からのリップ モーション抽出機能を活用して、マルチスケール ビデオ データを生成します。
さらに、速度摂動、ランダムな回転、水平反転、色の変換など、さまざまな拡張技術がトレーニング中に適用されます。
VSR モデルは、共同 CTC/アテンション ロスを備えたエンドツーエンド アーキテクチャを採用し、Enhanced ResNet3D ビジュアル フロントエンド、E-Branchformer エンコーダー、および双方向 Transformer デコーダーを導入しています。
私たちのアプローチでは、シングル スピーカー タスクの CER が 30.47%、マルチ スピーカー タスクの CER が 34.30% となり、シングル スピーカー タスクのオープン トラックで 2 位、他の 3 つのトラックで 1 位を確保しました。

要約(オリジナル)

This paper delineates the visual speech recognition (VSR) system introduced by the NPU-ASLP (Team 237) in the second Chinese Continuous Visual Speech Recognition Challenge (CNVSRC 2024), engaging in all four tracks, including the fixed and open tracks of Single-Speaker VSR Task and Multi-Speaker VSR Task. In terms of data processing, we leverage the lip motion extractor from the baseline1 to produce multiscale video data. Besides, various augmentation techniques are applied during training, encompassing speed perturbation, random rotation, horizontal flipping, and color transformation. The VSR model adopts an end-to-end architecture with joint CTC/attention loss, introducing Enhanced ResNet3D visual frontend, E-Branchformer encoder, and Bi-directional Transformer decoder. Our approach yields a 30.47% CER for the Single-Speaker Task and 34.30% CER for the Multi-Speaker Task, securing second place in the open track of the Single-Speaker Task and first place in the other three tracks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google