SurFhead: Affine Rig Blending for Geometrically Accurate 2D Gaussian Surfel Head Avatars

要約

ガウス プリミティブを使用した頭部アバター レンダリングの最近の進歩により、非常に忠実度の高い結果が得られました。
正確な頭部ジオメトリは、メッシュの再構築や再照明などのアプリケーションにとって重要ですが、現在の方法では、相似変換に依存しているため、複雑な幾何学的詳細をキャプチャし、目に見えないポーズをレンダリングするのが困難であり、ジオメトリの詳細な変形に不可欠なストレッチ変換とせん断変換を処理できません。
これに対処するために、私たちは SurFhead を提案します。これは、2D ガウス サーフェルを使用して RGB ビデオからリグ可能なヘッド ジオメトリを再構築する新しい方法です。これは、固定光線の交差からの正確な深さや、表面の向きから導出される法線など、明確に定義された幾何学的特性を提供します。
3D 対応物よりも有利です。
SurFhead は、古典的なメッシュベースの変形転送とアフィン変換補間を活用することにより、極端なポーズであっても、法線と画像の両方の高忠実度のレンダリングを保証します。
SurFhead は、法線に影響を与える変換を含む変換の極分解を通じて、正確な幾何学的変形を導入し、サーフェルをブレンドします。
私たちの主な貢献は、メッシュベースの変形などの古典的なグラフィックス技術と現代のガウス プリミティブを橋渡しし、最先端のジオメトリの再構築とレンダリング品質を実現することにあります。
以前のアバター レンダリング アプローチとは異なり、SurFhead では、高忠実度のジオメトリを維持しながら、ガウス プリミティブによる効率的な再構築が可能になります。

要約(オリジナル)

Recent advancements in head avatar rendering using Gaussian primitives have achieved significantly high-fidelity results. Although precise head geometry is crucial for applications like mesh reconstruction and relighting, current methods struggle to capture intricate geometric details and render unseen poses due to their reliance on similarity transformations, which cannot handle stretch and shear transforms essential for detailed deformations of geometry. To address this, we propose SurFhead, a novel method that reconstructs riggable head geometry from RGB videos using 2D Gaussian surfels, which offer well-defined geometric properties, such as precise depth from fixed ray intersections and normals derived from their surface orientation, making them advantageous over 3D counterparts. SurFhead ensures high-fidelity rendering of both normals and images, even in extreme poses, by leveraging classical mesh-based deformation transfer and affine transformation interpolation. SurFhead introduces precise geometric deformation and blends surfels through polar decomposition of transformations, including those affecting normals. Our key contribution lies in bridging classical graphics techniques, such as mesh-based deformation, with modern Gaussian primitives, achieving state-of-the-art geometry reconstruction and rendering quality. Unlike previous avatar rendering approaches, SurFhead enables efficient reconstruction driven by Gaussian primitives while preserving high-fidelity geometry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google