InsTaG: Learning Personalized 3D Talking Head from Few-Second Video

要約

リアルなパーソナライズされた3Dトーキングヘッドを合成する際に印象的なパフォーマンスを示しているにもかかわらず、輝きフィールドに基づいた一般的な方法は、新しいアイデンティティのトレーニングデータと時間の高い要求に苦しんでいます。
このペーパーでは、少数のトレーニングデータから現実的なパーソナライズされた3Dトーキングヘッドの迅速な学習を可能にする3Dトーキングヘッド合成フレームワークであるInstagを紹介します。
普遍的なモーションプライアーを備えた軽量の3DGSの人固有のシンセサイザーに基づいて、Instagは高レベルのパーソナライズと効率を維持しながら、高品質で迅速な適応を実現します。
準備として、最初に、個人固有のモデルの事前トレーニングを可能にし、長いビデオデータコーパスからのユニバーサルモーションプライエアの収集を奨励するアイデンティティのないトレーニング前戦略を提案します。
Universal Motion Priorsを完全に活用して目に見えない新しいアイデンティティを学習するために、ターゲットヘッドを事前に訓練したフィールドに適応的に調整し、少数のトレーニングデータの下で堅牢な動的ヘッド構造を制約するためのモーション整列適応戦略を提示します。
実験は、高品質のパーソナライズされたトーキングヘッドをレンダリングするために、さまざまなデータシナリオで優れたパフォーマンスと効率性を示しています。

要約(オリジナル)

Despite exhibiting impressive performance in synthesizing lifelike personalized 3D talking heads, prevailing methods based on radiance fields suffer from high demands for training data and time for each new identity. This paper introduces InsTaG, a 3D talking head synthesis framework that allows a fast learning of realistic personalized 3D talking head from few training data. Built upon a lightweight 3DGS person-specific synthesizer with universal motion priors, InsTaG achieves high-quality and fast adaptation while preserving high-level personalization and efficiency. As preparation, we first propose an Identity-Free Pre-training strategy that enables the pre-training of the person-specific model and encourages the collection of universal motion priors from long-video data corpus. To fully exploit the universal motion priors to learn an unseen new identity, we then present a Motion-Aligned Adaptation strategy to adaptively align the target head to the pre-trained field, and constrain a robust dynamic head structure under few training data. Experiments demonstrate our outstanding performance and efficiency under various data scenarios to render high-quality personalized talking heads.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google