Phys3DGS: Physically-based 3D Gaussian Splatting for Inverse Rendering

要約

3D ガウス スプラッティング (3DGS) ベースの逆レンダリングの品質を向上させるための 2 つの新しいアイデア (遅延レンダリングとメッシュベースの表現の採用) を提案します。
我々は最初に、隠れたガウスによって引き起こされる問題を報告します。この問題では、表面の下のガウスが、既存の方法で採用されているボリューム レンダリングのピクセルの色に悪影響を及ぼします。
この問題を解決するために、我々は遅延レンダリングを適用することを提案し、既存の 3DGS ベースの逆レンダリングへの遅延レンダリングの単純な適用で発生する新たな問題を報告します。
遅延レンダリング下での 3DGS ベースの逆レンダリングの品質を向上させるための取り組みとして、(1) メッシュ抽出を活用し、ハイブリッド メッシュと 3DGS 表現を利用し、(2) 新しい正則化手法を適用する、新しい 2 段階のトレーニング アプローチを提案します。
メッシュをうまく活用してください。
私たちの実験では、再照明下で、提案された方法が既存の 3DGS ベースの逆レンダリング方法よりも大幅に優れたレンダリング品質を提供することを示しています。
SOTA ボクセル グリッドベースの逆レンダリング方法と比較して、リアルタイム レンダリングを提供しながらレンダリング品質が向上します。

要約(オリジナル)

We propose two novel ideas (adoption of deferred rendering and mesh-based representation) to improve the quality of 3D Gaussian splatting (3DGS) based inverse rendering. We first report a problem incurred by hidden Gaussians, where Gaussians beneath the surface adversely affect the pixel color in the volume rendering adopted by the existing methods. In order to resolve the problem, we propose applying deferred rendering and report new problems incurred in a naive application of deferred rendering to the existing 3DGS-based inverse rendering. In an effort to improve the quality of 3DGS-based inverse rendering under deferred rendering, we propose a novel two-step training approach which (1) exploits mesh extraction and utilizes a hybrid mesh-3DGS representation and (2) applies novel regularization methods to better exploit the mesh. Our experiments show that, under relighting, the proposed method offers significantly better rendering quality than the existing 3DGS-based inverse rendering methods. Compared with the SOTA voxel grid-based inverse rendering method, it gives better rendering quality while offering real-time rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google