HeadGaS: Real-Time Animatable Head Avatars via 3D Gaussian Splatting

要約

3D 頭部アニメーションは、特に微分可能なレンダリングとニューラル放射フィールドの進歩によって、ここ数年で品質と実行時間が大幅に向上しました。
リアルタイム レンダリングは、現実世界のアプリケーションにとって非常に望ましい目標です。
私たちは、3D 頭部の再構築とアニメーションに 3D Gaussian Splats (3DGS) を使用する最初のモデルである HeadGaS を提案します。
この論文では、学習可能な潜在的特徴のベースを使用して 3DGS からの明示的表現を拡張するハイブリッド モデルを紹介します。これは、パラメトリック頭部モデルの低次元パラメーターと線形的にブレンドして、表現に依存する最終的な色と不透明度の値を取得できます。
HeadGaS が、ベースラインを最大 ~2dB 上回るリアルタイム推論フレーム レートで最先端の結果をもたらし、同時にレンダリング速度を 10 倍以上高速化することを実証します。

要約(オリジナル)

3D head animation has seen major quality and runtime improvements over the last few years, particularly empowered by the advances in differentiable rendering and neural radiance fields. Real-time rendering is a highly desirable goal for real-world applications. We propose HeadGaS, the first model to use 3D Gaussian Splats (3DGS) for 3D head reconstruction and animation. In this paper we introduce a hybrid model that extends the explicit representation from 3DGS with a base of learnable latent features, which can be linearly blended with low-dimensional parameters from parametric head models to obtain expression-dependent final color and opacity values. We demonstrate that HeadGaS delivers state-of-the-art results in real-time inference frame rates, which surpasses baselines by up to ~2dB, while accelerating rendering speed by over x10.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google