HHAvatar: Gaussian Head Avatar with Dynamic Hairs

要約

高忠実度の 3D ヘッド アバターの作成は常に研究のホットスポットですが、軽量のスパース ビュー設定では依然として大きな課題です。
この論文では、動的ヘアモデリングを備えた高忠実度の頭部アバターのために、制御可能な 3D ガウスで表現される HHAvatar を提案します。
まず 3D ガウスを使用して頭の外観を表現し、次にニュートラルな 3D ガウスと完全に学習された MLP ベースの変形フィールドを組み合わせて最適化し、複雑な表現をキャプチャします。
2 つの部分が相互にメリットをもたらすため、この方法では表現の精度を確保しながら、きめの細かい動的詳細をモデル化できます。
さらに、トレーニング手順の安定性と収束のために、暗黙的な SDF とディープ マーチング四面体に基づいて、適切に設計されたジオメトリに基づく初期化戦略を考案しました。
動的な髪のモデリングの問題に対処するために、ガウス ヘッド アバターに基づいたアバター表現にハイブリッド ヘッド モデルを導入し、髪の非剛体の動きをモデル化するためのタイミング情報とオクルージョン認識モジュールを考慮したトレーニング方法を導入しました。
実験の結果、私たちのアプローチは他の最先端のスパースビュー手法よりも優れており、誇張された表現下でも 2K 解像度で超高忠実度のレンダリング品質を達成し、頭の動きに合わせて髪を合理的に駆動できることが示されています。

要約(オリジナル)

Creating high-fidelity 3D head avatars has always been a research hotspot, but it remains a great challenge under lightweight sparse view setups. In this paper, we propose HHAvatar represented by controllable 3D Gaussians for high-fidelity head avatar with dynamic hair modeling. We first use 3D Gaussians to represent the appearance of the head, and then jointly optimize neutral 3D Gaussians and a fully learned MLP-based deformation field to capture complex expressions. The two parts benefit each other, thereby our method can model fine-grained dynamic details while ensuring expression accuracy. Furthermore, we devise a well-designed geometry-guided initialization strategy based on implicit SDF and Deep Marching Tetrahedra for the stability and convergence of the training procedure. To address the problem of dynamic hair modeling, we introduce a hybrid head model into our avatar representation based Gaussian Head Avatar and a training method that considers timing information and an occlusion perception module to model the non-rigid motion of hair. Experiments show that our approach outperforms other state-of-the-art sparse-view methods, achieving ultra high-fidelity rendering quality at 2K resolution even under exaggerated expressions and driving hairs reasonably with the motion of the head

arxiv情報

提供元, 利用サービス

arxiv.jp, Google