HeadGaS: Real-Time Animatable Head Avatars via 3D Gaussian Splatting

要約

3D 頭部アニメーションは、特に微分可能なレンダリングとニューラル放射フィールドの進歩によって、ここ数年で品質と実行時間が大幅に向上しました。
リアルタイム レンダリングは、現実世界のアプリケーションにとって非常に望ましい目標です。
私たちは、3D 頭部の再構成とアニメーションに 3D Gaussian Splats (3DGS) を使用するモデル、HeadGaS を提案します。
この論文では、学習可能な潜在特徴のベースを使用して明示的な 3DGS 表現を拡張するハイブリッド モデルを紹介します。このハイブリッド モデルは、パラメトリック頭部モデルの低次元パラメーターと線形ブレンドして、表現に依存する色と不透明度の値を取得できます。
HeadGaS がリアルタイム推論フレーム レートで最先端の結果を提供し、ベースラインを最大 2dB 上回り、同時にレンダリング速度を 10 倍以上高速化することを実証します。

要約(オリジナル)

3D head animation has seen major quality and runtime improvements over the last few years, particularly empowered by the advances in differentiable rendering and neural radiance fields. Real-time rendering is a highly desirable goal for real-world applications. We propose HeadGaS, a model that uses 3D Gaussian Splats (3DGS) for 3D head reconstruction and animation. In this paper we introduce a hybrid model that extends the explicit 3DGS representation with a base of learnable latent features, which can be linearly blended with low-dimensional parameters from parametric head models to obtain expression-dependent color and opacity values. We demonstrate that HeadGaS delivers state-of-the-art results in real-time inference frame rates, surpassing baselines by up to 2dB, while accelerating rendering speed by over x10.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google