RGS-DR: Reflective Gaussian Surfels with Deferred Rendering for Shiny Objects

要約

RGS-DRを紹介します。RGS-DRは、柔軟なレリフトとシーンの編集をサポートして、光沢のある反射性オブジェクトを再構築およびレンダリングするための新しい逆レンダリング方法です。
既存の方法（例：NERFや3Dガウスのスプラッティング）とは異なり、ビュー依存効果と格闘しているRGS-DRは、高品質の逆レンダリングのための不可欠な特性であるジオメトリと表面正規を正確に推定するために2Dガウスサーフェル表現を利用しています。
私たちのアプローチは、繰延シェーディングパイプラインにラスター化された学習可能なプリミティブを介して、幾何学的および材料特性を明示的にモデル化し、レンダリングのレンダリングを効果的に削減し、鋭い反射を維持します。
マルチレベルのキューブMIPMAPを採用することにより、RGS-DRは環境照明積分を正確に近似し、高品質の再構築と再生を促進します。
球状のMIPMAPベースの方向性エンコードを使用した残留パスは、外観モデリングをさらに改善します。
実験は、RGS-DRが光沢のあるオブジェクトの高品質の再構築と品質を達成し、多くの場合、再構成を除く最先端の最新の方法よりも優れていることを示しています。

要約(オリジナル)

We introduce RGS-DR, a novel inverse rendering method for reconstructing and rendering glossy and reflective objects with support for flexible relighting and scene editing. Unlike existing methods (e.g., NeRF and 3D Gaussian Splatting), which struggle with view-dependent effects, RGS-DR utilizes a 2D Gaussian surfel representation to accurately estimate geometry and surface normals, an essential property for high-quality inverse rendering. Our approach explicitly models geometric and material properties through learnable primitives rasterized into a deferred shading pipeline, effectively reducing rendering artifacts and preserving sharp reflections. By employing a multi-level cube mipmap, RGS-DR accurately approximates environment lighting integrals, facilitating high-quality reconstruction and relighting. A residual pass with spherical-mipmap-based directional encoding further refines the appearance modeling. Experiments demonstrate that RGS-DR achieves high-quality reconstruction and rendering quality for shiny objects, often outperforming reconstruction-exclusive state-of-the-art methods incapable of relighting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google