IRGS: Inter-Reflective Gaussian Splatting with 2D Gaussian Ray Tracing

要約

インバース レンダリングでは、二次効果をキャプチャするために、入射光の可視性と間接放射輝度を正確にモデリングすることが不可欠です。
強力なガウス レイ トレーサがないため、これまでの 3DGS ベースの手法では、簡略化されたレンダリング方程式を採用するか、学習可能なパラメータを使用して入射光を近似しており、その結果、マテリアルと照明の推定が不正確になりました。
この目的を達成するために、逆レンダリング用の相互反射ガウス スプラッティング (IRGS) を導入します。
相互反射を捉えるために、単純化せずに完全なレンダリング方程式を適用し、提案された微分可能な 2D ガウス レイ トレーシングを使用して入射放射輝度をオンザフライで計算します。
さらに、レンダリング方程式評価のためのモンテカルロ サンプリングの計算需要を処理するための効率的な最適化スキームを提示します。
さらに、最適化されたシーンを再照明するときに、入射光の間接的な放射輝度をクエリするための新しい戦略を紹介します。
複数の標準ベンチマークに関する広範な実験により IRGS の有効性が検証され、複雑な相互反射効果を正確にモデル化する機能が実証されました。

要約(オリジナル)

In inverse rendering, accurately modeling visibility and indirect radiance for incident light is essential for capturing secondary effects. Due to the absence of a powerful Gaussian ray tracer, previous 3DGS-based methods have either adopted a simplified rendering equation or used learnable parameters to approximate incident light, resulting in inaccurate material and lighting estimations. To this end, we introduce inter-reflective Gaussian splatting (IRGS) for inverse rendering. To capture inter-reflection, we apply the full rendering equation without simplification and compute incident radiance on the fly using the proposed differentiable 2D Gaussian ray tracing. Additionally, we present an efficient optimization scheme to handle the computational demands of Monte Carlo sampling for rendering equation evaluation. Furthermore, we introduce a novel strategy for querying the indirect radiance of incident light when relighting the optimized scenes. Extensive experiments on multiple standard benchmarks validate the effectiveness of IRGS, demonstrating its capability to accurately model complex inter-reflection effects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google