VocaLiST: An Audio-Visual Synchronisation Model for Lips and Voices

要約

この論文では、人間の顔と声を含むビデオの唇と声の同期の問題に対処します。
私たちのアプローチは、視聴覚対応スコアに応じて、ビデオの唇の動きと音声が同期しているかどうかを判断することに基づいています。
標準的な読唇術の音声ベンチマークデータセットLRS2の視聴覚同期タスクで、いくつかのベースラインモデルよりも優れた視聴覚クロスモーダルトランスベースモデルを提案します。
既存の方法は主にスピーチビデオのリップシンクに焦点を合わせていますが、歌声の特殊なケースも考慮します。
歌声は、母音が持続するため、同期のより難しいユースケースです。
また、歌声のコンテキストで音声データセットでトレーニングされたリップシンクモデルの関連性を調査します。
最後に、歌声分離タスクでリップシンクモデルによって学習された凍結された視覚的機能を使用して、エンドツーエンドでトレーニングされたベースラインのオーディオビジュアルモデルよりも優れたパフォーマンスを発揮します。
デモ、ソースコード、および事前トレーニング済みモデルは、https：//ipcv.github.io/VocaLiST/で入手できます。

要約(オリジナル)

In this paper, we address the problem of lip-voice synchronisation in videos containing human face and voice. Our approach is based on determining if the lips motion and the voice in a video are synchronised or not, depending on their audio-visual correspondence score. We propose an audio-visual cross-modal transformer-based model that outperforms several baseline models in the audio-visual synchronisation task on the standard lip-reading speech benchmark dataset LRS2. While the existing methods focus mainly on lip synchronisation in speech videos, we also consider the special case of the singing voice. The singing voice is a more challenging use case for synchronisation due to sustained vowel sounds. We also investigate the relevance of lip synchronisation models trained on speech datasets in the context of singing voice. Finally, we use the frozen visual features learned by our lip synchronisation model in the singing voice separation task to outperform a baseline audio-visual model which was trained end-to-end. The demos, source code, and the pre-trained models are available on https://ipcv.github.io/VocaLiST/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google