Relightable Gaussian Codec Avatars

要約

再照明の忠実度は、ジオメトリと外観表現の両方によって制限されます。
ジオメトリの場合、メッシュとボリュームの両方のアプローチでは、3D ヘア ジオメトリのような複雑な構造をモデリングするのが困難です。
外観に関しては、既存のリライティング モデルの忠実度は限られており、高解像度の連続環境でリアルタイムにレンダリングするには遅すぎることがよくあります。
この研究では、アニメーション化して斬新な表現を生成できる高忠実度の再点灯可能な頭部アバターを構築する方法である再点灯可能なガウス コーデック アバターを紹介します。
3D ガウシアンに基づく当社のジオメトリ モデルは、動的な顔のシーケンス上の髪束や毛穴などの 3D 一貫性のあるサブミリメートルの詳細をキャプチャできます。
目、皮膚、髪などの人間の頭の多様なマテリアルを統一的にサポートするために、学習可能な輝度転送に基づいた新しい再点灯可能な外観モデルを提案します。
拡散成分のグローバル イルミネーションを意識した球面調和関数と併せて、球面ガウスを使用した空間的な全周波数反射によるリアルタイムの再照明を実現します。
この外観モデルは、点光と連続照明の両方で効率的に再照明できます。
再点灯可能な明示的な目のモデルを導入することで、目の反射の忠実度をさらに向上させ、明示的な視線制御を可能にします。
私たちの方法は、リアルタイムのパフォーマンスを損なうことなく、既存のアプローチを上回ります。
また、テザリングされた消費者向け VR ヘッドセットでのアバターのリアルタイム再照明も実証し、アバターの効率性と忠実性を示しています。

要約(オリジナル)

The fidelity of relighting is bounded by both geometry and appearance representations. For geometry, both mesh and volumetric approaches have difficulty modeling intricate structures like 3D hair geometry. For appearance, existing relighting models are limited in fidelity and often too slow to render in real-time with high-resolution continuous environments. In this work, we present Relightable Gaussian Codec Avatars, a method to build high-fidelity relightable head avatars that can be animated to generate novel expressions. Our geometry model based on 3D Gaussians can capture 3D-consistent sub-millimeter details such as hair strands and pores on dynamic face sequences. To support diverse materials of human heads such as the eyes, skin, and hair in a unified manner, we present a novel relightable appearance model based on learnable radiance transfer. Together with global illumination-aware spherical harmonics for the diffuse components, we achieve real-time relighting with spatially all-frequency reflections using spherical Gaussians. This appearance model can be efficiently relit under both point light and continuous illumination. We further improve the fidelity of eye reflections and enable explicit gaze control by introducing relightable explicit eye models. Our method outperforms existing approaches without compromising real-time performance. We also demonstrate real-time relighting of avatars on a tethered consumer VR headset, showcasing the efficiency and fidelity of our avatars.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google