Generalizable and Relightable Gaussian Splatting for Human Novel View Synthesis

要約

私たちは、多様な照明条件下での高忠実度の人間の新規ビューの統合のための一般化可能で信頼できる3DガウスフレームワークであるGRGSを提案します。
Characterごとの最適化に依存している、または物理的な制約を無視する既存の方法とは異なり、GRGSは、マルチビュー2D観測から3Dガウス表現にジオメトリ、材料、照明の手がかりを投影するフィードフォワード、完全に監視された戦略を採用しています。
具体的には、照明不変のジオメトリを再構築するために、合成的に信頼できるデータでトレーニングされた照明認識ジオメトリの改良（LGR）モジュールを導入して、正確な深さと表面の正常を予測します。
高品質のジオメトリに基づいて、物理的に接地されたニューラルレンダリング（PGNR）モジュールが、神経予測を物理ベースのシェーディングと統合するためにさらに提案され、影と間接照明で編集可能な再生をサポートします。
その上、私たちは、明示的な光線トレースの計算コストを緩和する、周囲の閉塞、直接、および間接照明マップから微分可能な監督を活用する2Dから3D投影トレーニングスキームを設計します。
広範な実験は、GRGがキャラクターや照明条件全体で優れた視覚品質、幾何学的な一貫性、一般化を達成することを示しています。

要約(オリジナル)

We propose GRGS, a generalizable and relightable 3D Gaussian framework for high-fidelity human novel view synthesis under diverse lighting conditions. Unlike existing methods that rely on per-character optimization or ignore physical constraints, GRGS adopts a feed-forward, fully supervised strategy that projects geometry, material, and illumination cues from multi-view 2D observations into 3D Gaussian representations. Specifically, to reconstruct lighting-invariant geometry, we introduce a Lighting-aware Geometry Refinement (LGR) module trained on synthetically relit data to predict accurate depth and surface normals. Based on the high-quality geometry, a Physically Grounded Neural Rendering (PGNR) module is further proposed to integrate neural prediction with physics-based shading, supporting editable relighting with shadows and indirect illumination. Besides, we design a 2D-to-3D projection training scheme that leverages differentiable supervision from ambient occlusion, direct, and indirect lighting maps, which alleviates the computational cost of explicit ray tracing. Extensive experiments demonstrate that GRGS achieves superior visual quality, geometric consistency, and generalization across characters and lighting conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google