Gaussian Eigen Models for Human Heads

要約

我々は、ダイナミックな3Dガウシアンを低次元の線形空間に圧縮する新しい手法である、人間の頭部のパーソナライズドガウシアン固有モデル（GEM）を発表する。我々のアプローチは、登録されたメッシュからメッシュベースの3Dモーファブルモデル（3DMM）を構築するBlanzとVetterの代表的な研究に触発されている。動的3Dガウシアンに基づいて、我々はプリミティブの低次元表現を作成し、ほとんどの3DGS頭部アバターに適用する。具体的には、線形固有基盤のアンサンブルを用いて、メッシュ制御されたUNetガウシアンアバターの外観を抽出する普遍的な方法を提案する。重いCNNベースのアーキテクチャを単一の線形レイヤーに置き換えることで、速度を向上させ、様々なリアルタイムダウンストリームアプリケーションを可能にする。特定の表情を作成するためには、固有係数と抽出された基底との間のドット積を実行するだけでよい。この効率的な方法により、テスト時に入力メッシュの必要性がなくなり、表情生成のシンプルさとスピードが向上します。このプロセスは非常に効率的であり、標準的なガウススプラッティングの有効性を活用し、日常的なデバイス上でのリアルタイムレンダリングをサポートする。さらに、ResNetベースの回帰アーキテクチャを用いてGEMを制御できることを示す。自己再演と他者再演を最新の3Dアバター手法と比較し、より高い品質と優れた制御性を示す。リアルタイムのデモにより、GEM表現の適用可能性を示す。

要約(オリジナル)

We present personalized Gaussian Eigen Models (GEMs) for human heads, a novel method that compresses dynamic 3D Gaussians into low-dimensional linear spaces. Our approach is inspired by the seminal work of Blanz and Vetter, where a mesh-based 3D morphable model (3DMM) is constructed from registered meshes. Based on dynamic 3D Gaussians, we create a lower-dimensional representation of primitives that applies to most 3DGS head avatars. Specifically, we propose a universal method to distill the appearance of a mesh-controlled UNet Gaussian avatar using an ensemble of linear eigenbasis. We replace heavy CNN-based architectures with a single linear layer improving speed and enabling a range of real-time downstream applications. To create a particular facial expression, one simply needs to perform a dot product between the eigen coefficients and the distilled basis. This efficient method removes the requirement for an input mesh during testing, enhancing simplicity and speed in expression generation. This process is highly efficient and supports real-time rendering on everyday devices, leveraging the effectiveness of standard Gaussian Splatting. In addition, we demonstrate how the GEM can be controlled using a ResNet-based regression architecture. We show and compare self-reenactment and cross-person reenactment to state-of-the-art 3D avatar methods, demonstrating higher quality and better control. A real-time demo showcases the applicability of the GEM representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL