Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture

要約

4D ヘッド キャプチャは、ビデオから動的なトポロジ メッシュと対応するテクスチャ マップを生成することを目的としています。これは、顔の筋肉の動きをシミュレートし、毛穴を絞る際に動的なテクスチャを回復する機能により、映画やゲームで広く利用されています。
業界では、多視点ステレオと非固定アライメントを含む方法がよく採用されています。
ただし、このアプローチはエラーが発生しやすく、アーティストによる時間のかかる手動処理に大きく依存しています。
このプロセスを簡素化するために、我々は、自動ジオメトリとテクスチャ生成のための新しいフレームワークである Topo4D を提案します。これは、キャリブレーションされたマルチビュー時系列画像から直接、密に配置された 4D ヘッドと 8K テクスチャ マップを最適化します。
具体的には、最初に時系列の面を、ガウスの中心がメッシュの頂点にバインドされている固定トポロジーを持つ一連の動的な 3D ガウスとして表します。
その後、時間的トポロジの安定性を維持しながら、高品質のジオメトリとテクスチャ学習を行うために、代替ジオメトリとテクスチャの最適化をフレームごとに実行します。
最後に、規則的な配線配置で動的な顔のメッシュと、学習したガウス分布から毛穴レベルの詳細を備えた高忠実度のテクスチャを抽出できます。
広範な実験により、私たちの方法はメッシュとテクスチャの品質の両方において現在のSOTA顔再構成方法よりも優れた結果が得られることが示されています。
プロジェクトページ: https://xuanchenli.github.io/Topo4D/。

要約(オリジナル)

4D head capture aims to generate dynamic topological meshes and corresponding texture maps from videos, which is widely utilized in movies and games for its ability to simulate facial muscle movements and recover dynamic textures in pore-squeezing. The industry often adopts the method involving multi-view stereo and non-rigid alignment. However, this approach is prone to errors and heavily reliant on time-consuming manual processing by artists. To simplify this process, we propose Topo4D, a novel framework for automatic geometry and texture generation, which optimizes densely aligned 4D heads and 8K texture maps directly from calibrated multi-view time-series images. Specifically, we first represent the time-series faces as a set of dynamic 3D Gaussians with fixed topology in which the Gaussian centers are bound to the mesh vertices. Afterward, we perform alternative geometry and texture optimization frame-by-frame for high-quality geometry and texture learning while maintaining temporal topology stability. Finally, we can extract dynamic facial meshes in regular wiring arrangement and high-fidelity textures with pore-level details from the learned Gaussians. Extensive experiments show that our method achieves superior results than the current SOTA face reconstruction methods both in the quality of meshes and textures. Project page: https://xuanchenli.github.io/Topo4D/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google