Audio-Visual Speech Representation Expert for Enhanced Talking Face Video Generation and Evaluation

要約

話す顔の生成タスクの目的は、視覚的な詳細とアイデンティティ情報を維持しながら、対応する音声に同期した唇を含む顔ビデオを生成することです。
現在の方法は、視覚的な品質への悪影響を回避しながら正確なリップシンクを学習し、そのような同期を堅牢に評価するという課題に直面しています。
これらの問題に取り組むために、トレーニング中に口唇同期損失を計算するためにオーディオビジュアル音声表現エキスパート (AV-HuBERT) を利用することを提案します。
さらに、AV-HuBERT の機能を活用して、リップ シンク パフォーマンスの包括的な評価を提供することを目的として、3 つの新しいリップ シンク評価指標を導入します。
実験結果は、詳細なアブレーション研究とともに、我々のアプローチの有効性と提案された評価基準の有用性を実証しています。

要約(オリジナル)

In the task of talking face generation, the objective is to generate a face video with lips synchronized to the corresponding audio while preserving visual details and identity information. Current methods face the challenge of learning accurate lip synchronization while avoiding detrimental effects on visual quality, as well as robustly evaluating such synchronization. To tackle these problems, we propose utilizing an audio-visual speech representation expert (AV-HuBERT) for calculating lip synchronization loss during training. Moreover, leveraging AV-HuBERT’s features, we introduce three novel lip synchronization evaluation metrics, aiming to provide a comprehensive assessment of lip synchronization performance. Experimental results, along with a detailed ablation study, demonstrate the effectiveness of our approach and the utility of the proposed evaluation metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google