BecomingLit: Relightable Gaussian Avatars with Hybrid Neural Shading

要約

Interactiveレートで新しい視点からレンダリングできる、信頼性の高い高解像度のヘッドアバターを再構築するための新しい方法であるBegingLitを紹介します。
したがって、顔をキャプチャするために特別に調整された新しい低コストのライトステージキャプチャセットアップを提案します。
このセットアップを使用して、さまざまな照明条件と表情の下で多数の被験者の多様なマルチビューシーケンスで構成される新しいデータセットを収集します。
新しいデータセットを活用することにより、パラメトリックヘッドモデルと式に依存するダイナミクスモジュールでアニメーション化する3Dガウスプリミティブに基づいた新しい安定したアバター表現を導入します。
神経拡散BRDFと分析的鏡面項を組み合わせて、新しいハイブリッドニューラルシェーディングアプローチを提案します。
私たちの方法は、ダイナミックライトステージの録音から解き放たれた素材を再構築し、ポイントライトと環境マップの両方でアバターをすべての周波数再採取できるようにします。
さらに、私たちのアバターは、単眼ビデオから簡単にアニメーション化して制御できます。
データセットでの広範な実験でアプローチを検証します。このアプローチでは、既存の最先端の方法を、かなりのマージンでの再生と再現の最先端の方法よりも常に上回ります。

要約(オリジナル)

We introduce BecomingLit, a novel method for reconstructing relightable, high-resolution head avatars that can be rendered from novel viewpoints at interactive rates. Therefore, we propose a new low-cost light stage capture setup, tailored specifically towards capturing faces. Using this setup, we collect a novel dataset consisting of diverse multi-view sequences of numerous subjects under varying illumination conditions and facial expressions. By leveraging our new dataset, we introduce a new relightable avatar representation based on 3D Gaussian primitives that we animate with a parametric head model and an expression-dependent dynamics module. We propose a new hybrid neural shading approach, combining a neural diffuse BRDF with an analytical specular term. Our method reconstructs disentangled materials from our dynamic light stage recordings and enables all-frequency relighting of our avatars with both point lights and environment maps. In addition, our avatars can easily be animated and controlled from monocular videos. We validate our approach in extensive experiments on our dataset, where we consistently outperform existing state-of-the-art methods in relighting and reenactment by a significant margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google