KeySync: A Robust Approach for Leakage-free Lip Synchronization in High Resolution

要約

既存のビデオでリップの動きを新しい入力オーディオに合わせるタスクとして知られるリップ同期は、通常、オーディオ駆動型のフェイシャルアニメーションのよりシンプルなバリアントとしてフレーム化されます。
ただし、ヘッドジェネレーションの話（時間的一貫性など）の通常の問題に苦しんでいるだけでなく、リップの同期は、入力ビデオや顔面閉塞からの発現漏れなどの重要な新しい課題を示します。
これらの欠点に対処するために、慎重に設計されたマスキング戦略を使用して漏れや閉塞のソリューションを組み込むと同時に、時間的一貫性の問題を解決することに成功する2段階のフレームワークであるKeysyncを提示します。
Keysyncは、唇の再構築と相互同期で最先端の結果を達成し、視覚の品質を改善し、私たちの新しい漏れメトリックであるLippreakによると発現の漏れを減らすことを示しています。
さらに、咬合を処理する際の新しいマスキングアプローチの有効性を示し、いくつかのアブレーション研究を通じて建築の選択を検証します。
コードとモデルの重みは、https：//antonibigata.github.io/keysyncにあります。

要約(オリジナル)

Lip synchronization, known as the task of aligning lip movements in an existing video with new input audio, is typically framed as a simpler variant of audio-driven facial animation. However, as well as suffering from the usual issues in talking head generation (e.g., temporal consistency), lip synchronization presents significant new challenges such as expression leakage from the input video and facial occlusions, which can severely impact real-world applications like automated dubbing, but are often neglected in existing works. To address these shortcomings, we present KeySync, a two-stage framework that succeeds in solving the issue of temporal consistency, while also incorporating solutions for leakage and occlusions using a carefully designed masking strategy. We show that KeySync achieves state-of-the-art results in lip reconstruction and cross-synchronization, improving visual quality and reducing expression leakage according to LipLeak, our novel leakage metric. Furthermore, we demonstrate the effectiveness of our new masking approach in handling occlusions and validate our architectural choices through several ablation studies. Code and model weights can be found at https://antonibigata.github.io/KeySync.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google