Relightable 3D Gaussian: Real-time Point Cloud Relighting with BRDF Decomposition and Ray Tracing

要約

マルチビュー画像からマテリアルと照明を分解するための新しい微分可能なポイントベースのレンダリング フレームワークを紹介し、3D 点群の編集、レイ トレーシング、およびリアルタイムの再照明を可能にします。
具体的には、3D シーンは再照明可能な 3D ガウス ポイントのセットとして表され、各ポイントは法線方向、BRDF パラメータ、およびさまざまな方向からの入射光にさらに関連付けられます。
確実な照明推定を実現するために、各ポイントの入射光をグローバル成分とローカル成分、およびビュー依存の可視性にさらに分割します。
3D シーンは 3D ガウス スプラッティング技術によって最適化され、BRDF と照明は物理ベースの微分可能なレンダリングによって分解されます。
さらに、効果的な可視性ベイクのために境界ボリューム階層に基づく革新的なポイントベースのレイ トレーシング アプローチを導入し、正確なシャドウ効果を備えた 3D ガウス ポイントのリアルタイム レンダリングと再ライティングを可能にします。
広範な実験により、最先端のマテリアル推定アプローチと比較して、改良された BRDF 推定と新しいビュー レンダリング結果が実証されました。
私たちのフレームワークは、点群のみに基づいた再ライト可能、追跡可能、編集可能なレンダリング パイプラインによって、メッシュベースのグラフィックス パイプラインに革命を起こす可能性を示しています。
プロジェクトページ:https://nju-3dv.github.io/projects/Relightable3DGaussian/。

要約(オリジナル)

We present a novel differentiable point-based rendering framework for material and lighting decomposition from multi-view images, enabling editing, ray-tracing, and real-time relighting of the 3D point cloud. Specifically, a 3D scene is represented as a set of relightable 3D Gaussian points, where each point is additionally associated with a normal direction, BRDF parameters, and incident lights from different directions. To achieve robust lighting estimation, we further divide incident lights of each point into global and local components, as well as view-dependent visibilities. The 3D scene is optimized through the 3D Gaussian Splatting technique while BRDF and lighting are decomposed by physically-based differentiable rendering. Moreover, we introduce an innovative point-based ray-tracing approach based on the bounding volume hierarchy for efficient visibility baking, enabling real-time rendering and relighting of 3D Gaussian points with accurate shadow effects. Extensive experiments demonstrate improved BRDF estimation and novel view rendering results compared to state-of-the-art material estimation approaches. Our framework showcases the potential to revolutionize the mesh-based graphics pipeline with a relightable, traceable, and editable rendering pipeline solely based on point cloud. Project page:https://nju-3dv.github.io/projects/Relightable3DGaussian/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google