Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities

要約

3D ガウス スプラッティング (3DGS) の最近の進歩により、3D 頭部アバターのモデリングに大きな可能性が開かれ、メッシュ ベースの方法よりも優れた柔軟性が提供され、NeRF ベースのアプローチと比較してより効率的なレンダリングが提供されます。
こうした進歩にもかかわらず、制御可能な 3DGS ベースのヘッド アバターの作成には依然として時間がかかり、多くの場合、数十分から数時間かかります。
このプロセスを促進するために、ここでは「ガウス デジャブ」フレームワークを導入します。これは、最初に頭部アバターの一般化されたモデルを取得し、次にその結果をパーソナライズします。
一般化モデルは、大規模な 2D (合成および実際の) 画像データセットでトレーニングされます。
このモデルは、適切に初期化された 3D ガウス頭部を提供します。これは、単眼ビデオを使用してさらに洗練され、パーソナライズされた頭部アバターを実現します。
パーソナライズのために、初期 3D ガウスを修正するための学習可能な式を意識した修正ブレンドマップを提案し、ニューラル ネットワークに依存せずに迅速な収束を保証します。
実験は、提案された方法がその目的を達成することを実証します。
フォトリアリスティックな品質の点で最先端の 3D ガウス ヘッド アバターを上回っているだけでなく、トレーニングの消費時間を既存の方法の少なくとも 4 分の 1 に削減し、アバターを数分で作成します。

要約(オリジナル)

Recent advancements in 3D Gaussian Splatting (3DGS) have unlocked significant potential for modeling 3D head avatars, providing greater flexibility than mesh-based methods and more efficient rendering compared to NeRF-based approaches. Despite these advancements, the creation of controllable 3DGS-based head avatars remains time-intensive, often requiring tens of minutes to hours. To expedite this process, we here introduce the ‘Gaussian Deja-vu’ framework, which first obtains a generalized model of the head avatar and then personalizes the result. The generalized model is trained on large 2D (synthetic and real) image datasets. This model provides a well-initialized 3D Gaussian head that is further refined using a monocular video to achieve the personalized head avatar. For personalizing, we propose learnable expression-aware rectification blendmaps to correct the initial 3D Gaussians, ensuring rapid convergence without the reliance on neural networks. Experiments demonstrate that the proposed method meets its objectives. It outperforms state-of-the-art 3D Gaussian head avatars in terms of photorealistic quality as well as reduces training time consumption to at least a quarter of the existing methods, producing the avatar in minutes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google