URAvatar: Universal Relightable Gaussian Codec Avatars

要約

私たちは、未知の照明を使用した電話スキャンからフォトリアリスティックで再照明可能な頭部アバターを作成する新しいアプローチを紹介します。
再構築されたアバターはアニメーション化され、さまざまな環境のグローバルなイルミネーションでリアルタイムに再点灯できます。
逆レンダリングを介してパラメトリック反射率パラメータを推定する既存のアプローチとは異なり、私たちのアプローチは、リアルタイム レンダリングのための効率的な方法でグローバルな光輸送を組み込んだ学習可能な放射輝度伝達を直接モデル化します。
ただし、アイデンティティ間で一般化できるこのような複雑な光の伝達を学習することは簡単ではありません。
単一環境での電話スキャンでは、一般的な環境で頭部がどのように見えるかを推測するのに十分な情報が不足しています。
これに対処するために、3D ガウスで表されるユニバーサル再点灯可能なアバター モデルを構築します。
私たちは、制御可能な点光源を使用した何百もの高品質のマルチビュー ヒューマン スキャンでトレーニングを行っています。
高解像度の幾何学的ガイダンスにより、再構成の精度と一般化がさらに強化されます。
トレーニングが完了したら、逆レンダリングを使用して電話スキャンで事前トレーニング済みモデルを微調整し、パーソナライズされた再点灯可能なアバターを取得します。
私たちの実験により、リアルタイム レンダリング機能を維持しながら既存のアプローチを上回る設計の有効性が確立されました。

要約(オリジナル)

We present a new approach to creating photorealistic and relightable head avatars from a phone scan with unknown illumination. The reconstructed avatars can be animated and relit in real time with the global illumination of diverse environments. Unlike existing approaches that estimate parametric reflectance parameters via inverse rendering, our approach directly models learnable radiance transfer that incorporates global light transport in an efficient manner for real-time rendering. However, learning such a complex light transport that can generalize across identities is non-trivial. A phone scan in a single environment lacks sufficient information to infer how the head would appear in general environments. To address this, we build a universal relightable avatar model represented by 3D Gaussians. We train on hundreds of high-quality multi-view human scans with controllable point lights. High-resolution geometric guidance further enhances the reconstruction accuracy and generalization. Once trained, we finetune the pretrained model on a phone scan using inverse rendering to obtain a personalized relightable avatar. Our experiments establish the efficacy of our design, outperforming existing approaches while retaining real-time rendering capability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google