PSAvatar: A Point-based Morphable Shape Model for Real-Time Head Avatar Creation with 3D Gaussian Splatting

要約

多くの進歩にもかかわらず、リアルタイムで忠実度の高い頭部アバターを作成することは依然として困難であり、既存の方法では速度と品質の間でトレードオフを図る必要があります。
3DMM ベースの手法では、眼鏡やヘアスタイルなどの顔以外の構造のモデル化に失敗することがよくありますが、ニューラル暗黙的モデルには変形の柔軟性のなさとレンダリングの非効率性の問題があります。
3D ガウシアンは、ジオメトリ表現と放射フィールドの再構築に有望な機能を備えていることが実証されていますが、ポーズや表情の変化によって引き起こされる頭の形状の変化を 3D ガウシアンでモデル化するのは難しいため、頭のアバター作成に 3D ガウシアンを適用することは依然として大きな課題です。
この論文では、アニメーション化可能な頭部アバター作成のための新しいフレームワークである PSAvatar を紹介します。PSAvatar は、離散幾何学プリミティブを利用してパラメトリックなモーファブル形状モデルを作成し、3D ガウスを採用して詳細な表現と高忠実度のレンダリングを実現します。
パラメトリックモーファブル形状モデルは、3D 表現にメッシュの代わりにポイントを使用して表現の柔軟性を強化するポイントベースのモーファブル形状モデル (PMSM) です。
PMSM はまず、メッシュ外だけでなくサーフェス上でもサンプリングすることで FLAME メッシュをポイントに変換し、サーフェス状の構造だけでなく、眼鏡やヘアスタイルなどの複雑なジオメトリの再構築を可能にします。
PMSMでは、これらの点と頭部形状を合成解析的に位置合わせすることで、3Dガウスを利用した細部表現や外観モデリングが可能となり、忠実度の高いアバターの作成が可能となります。
PSAvatar がさまざまな被写体の高忠実度の頭部アバターを再構築でき、そのアバターをリアルタイムでアニメーション化できることを示します (解像度 512 x 512 で $\ge$ 25 fps)。

要約(オリジナル)

Despite much progress, creating real-time high-fidelity head avatar is still difficult and existing methods have to trade-off between speed and quality. 3DMM based methods often fail to model non-facial structures such as eyeglasses and hairstyles, while neural implicit models suffer from deformation inflexibility and rendering inefficiency. Although 3D Gaussian has been demonstrated to possess promising capability for geometry representation and radiance field reconstruction, applying 3D Gaussian in head avatar creation remains a major challenge since it is difficult for 3D Gaussian to model the head shape variations caused by changing poses and expressions. In this paper, we introduce PSAvatar, a novel framework for animatable head avatar creation that utilizes discrete geometric primitive to create a parametric morphable shape model and employs 3D Gaussian for fine detail representation and high fidelity rendering. The parametric morphable shape model is a Point-based Morphable Shape Model (PMSM) which uses points instead of meshes for 3D representation to achieve enhanced representation flexibility. The PMSM first converts the FLAME mesh to points by sampling on the surfaces as well as off the meshes to enable the reconstruction of not only surface-like structures but also complex geometries such as eyeglasses and hairstyles. By aligning these points with the head shape in an analysis-by-synthesis manner, the PMSM makes it possible to utilize 3D Gaussian for fine detail representation and appearance modeling, thus enabling the creation of high-fidelity avatars. We show that PSAvatar can reconstruct high-fidelity head avatars of a variety of subjects and the avatars can be animated in real-time ($\ge$ 25 fps at a resolution of 512 x 512 )

arxiv情報

提供元, 利用サービス

arxiv.jp, Google