SplatFace: Gaussian Splat Face Reconstruction Leveraging an Optimizable Surface

要約

我々は、正確な事前定義されたジオメトリに依存せずに 3D 人間の顔を再構築するために設計された新しいガウス スプラッティング フレームワークである SplatFace を紹介します。
私たちの方法は、高品質の新しいビューのレンダリングと正確な 3D メッシュ再構成の両方を同時に提供するように設計されています。
汎用 3D Morphable Model (3DMM) を組み込んで表面の幾何学的構造を提供し、限られた入力画像セットで顔を再構築できるようにします。
相乗的な非剛体位置合わせプロセスを通じてガウスと変形可能な表面の両方を洗練する共同最適化戦略を導入します。
ガウス位置と共分散の両方を考慮することで位置合わせを改善するために、新しい距離メトリックであるスプラットから表面が提案されています。
表面情報はワールド空間の高密度化プロセスを組み込むためにも利用され、その結果、優れた再構成品質が得られます。
私たちの実験分析は、提案された方法が、新しいビュー合成における他のガウス スプラッティング手法と、高い幾何学的精度で 3D フェイス メッシュを生成する他の 3D 再構成手法の両方と競合できることを示しています。

要約(オリジナル)

We present SplatFace, a novel Gaussian splatting framework designed for 3D human face reconstruction without reliance on accurate pre-determined geometry. Our method is designed to simultaneously deliver both high-quality novel view rendering and accurate 3D mesh reconstructions. We incorporate a generic 3D Morphable Model (3DMM) to provide a surface geometric structure, making it possible to reconstruct faces with a limited set of input images. We introduce a joint optimization strategy that refines both the Gaussians and the morphable surface through a synergistic non-rigid alignment process. A novel distance metric, splat-to-surface, is proposed to improve alignment by considering both the Gaussian position and covariance. The surface information is also utilized to incorporate a world-space densification process, resulting in superior reconstruction quality. Our experimental analysis demonstrates that the proposed method is competitive with both other Gaussian splatting techniques in novel view synthesis and other 3D reconstruction methods in producing 3D face meshes with high geometric precision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google