TalkingGaussian: Structure-Persistent 3D Talking Head Synthesis via Gaussian Splatting

要約

ラディアンス フィールドは、本物のような 3D トーキング ヘッドの合成において優れたパフォーマンスを実証しました。
ただし、急峻な外観の変化を適合させるのは難しいため、点の外観を直接変更することで顔の動きを表現する一般的なパラダイムでは、動的領域に歪みが生じる可能性があります。
この課題に取り組むために、高忠実度のトーキング ヘッド合成のための変形ベースの放射フィールド フレームワークである TalkingGaussian を導入します。
ポイントベースのガウス スプラッティングを利用することで、以前の方法のように難しい外観の変化を学習する必要がなく、永続的なガウス プリミティブに滑らかで連続的な変形を適用することで顔の動きを表現できます。
この単純化により、顔の特徴を完全に維持しながら、正確な顔のモーションを合成できます。
このような変形パラダイムの下では、詳細な発話動作の学習に影響を与える可能性のある顔と口の動作の不一致がさらに特定されました。
この矛盾に対処するために、モデルを顔と口の中の領域に分けて 2 つのブランチに分解することで、学習タスクを簡素化し、口領域のより正確な動きと構造を再構築できるようにしました。
広範な実験により、私たちの方法は、以前の方法と比較して顔の忠実度が向上し、効率が高く、高品質のリップシンクトーキングヘッドビデオをレンダリングできることが実証されました。

要約(オリジナル)

Radiance fields have demonstrated impressive performance in synthesizing lifelike 3D talking heads. However, due to the difficulty in fitting steep appearance changes, the prevailing paradigm that presents facial motions by directly modifying point appearance may lead to distortions in dynamic regions. To tackle this challenge, we introduce TalkingGaussian, a deformation-based radiance fields framework for high-fidelity talking head synthesis. Leveraging the point-based Gaussian Splatting, facial motions can be represented in our method by applying smooth and continuous deformations to persistent Gaussian primitives, without requiring to learn the difficult appearance change like previous methods. Due to this simplification, precise facial motions can be synthesized while keeping a highly intact facial feature. Under such a deformation paradigm, we further identify a face-mouth motion inconsistency that would affect the learning of detailed speaking motions. To address this conflict, we decompose the model into two branches separately for the face and inside mouth areas, therefore simplifying the learning tasks to help reconstruct more accurate motion and structure of the mouth region. Extensive experiments demonstrate that our method renders high-quality lip-synchronized talking head videos, with better facial fidelity and higher efficiency compared with previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google