GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering

要約

GI-GSは、3Dガウス・スプラッティング（3DGS）とディファード・シェーディングを活用し、フォトリアリスティックな新しいビュー合成とリライティングを実現する、新しいインバース・レンダリング・フレームワークである。インバースレンダリングにおいて、オブジェクトのシェーディングプロセスを正確にモデル化することは、忠実度の高い結果を得るために不可欠である。したがって、シーンを横切って複数回バウンスした後にオブジェクトに到達する間接照明を考慮するために、グローバル照明を組み込むことが重要です。これまでの3DGSベースの手法では、間接照明を学習可能な照明ボリュームまたは各ガウスの追加属性として特徴付けることで、間接照明のモデル化を試みてきました。しかし、これらの方法は、光とオブジェクト間の複雑な物理的相互作用を正確にモデル化することができず、再照明時に現実的な間接照明を構築することが不可能である。この限界に対処するために、我々は、遅延シェーディングを用いた効率的なパストレーシングを用いて間接照明を計算することを提案する。我々のフレームワークでは、まずシーンの詳細なジオメトリとマテリアル特性をキャプチャするためにGバッファをレンダリングする。その後、直接照明のためだけに物理ベースレンダリング（PBR）を実行する。Gバッファと以前のレンダリング結果を用いて、軽量なパストレーシングによって間接照明を計算することができる。本手法は、任意の照明条件下で間接照明を効果的にモデル化することにより、より優れた新規ビュー合成と再照明を実現する。定量的かつ定性的な結果は、我々のGI-GSがレンダリング品質と効率の両方において既存のベースラインを上回ることを示している。

要約(オリジナル)

We present GI-GS, a novel inverse rendering framework that leverages 3D Gaussian Splatting (3DGS) and deferred shading to achieve photo-realistic novel view synthesis and relighting. In inverse rendering, accurately modeling the shading processes of objects is essential for achieving high-fidelity results. Therefore, it is critical to incorporate global illumination to account for indirect lighting that reaches an object after multiple bounces across the scene. Previous 3DGS-based methods have attempted to model indirect lighting by characterizing indirect illumination as learnable lighting volumes or additional attributes of each Gaussian, while using baked occlusion to represent shadow effects. These methods, however, fail to accurately model the complex physical interactions between light and objects, making it impossible to construct realistic indirect illumination during relighting. To address this limitation, we propose to calculate indirect lighting using efficient path tracing with deferred shading. In our framework, we first render a G-buffer to capture the detailed geometry and material properties of the scene. Then, we perform physically-based rendering (PBR) only for direct lighting. With the G-buffer and previous rendering results, the indirect lighting can be calculated through a lightweight path tracing. Our method effectively models indirect lighting under any given lighting conditions, thereby achieving better novel view synthesis and relighting. Quantitative and qualitative results show that our GI-GS outperforms existing baselines in both rendering quality and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL