Reflective Gaussian Splatting

要約

NeRFや3DGSに基づく手法の性能向上により、新しいビュー合成は大きく進歩している。しかし、反射オブジェクトの再構成は依然として困難であり、相互反射に対応しながらリアルタイムで高品質なレンダリングを実現する適切なソリューションがない。このギャップを埋めるために、我々は2つのコンポーネントで特徴付けられる反射ガウススプラッティング（Ref-Gaussian splatting）フレームワークを導入する：(I)スプリットサム近似を定式化することにより、ピクセルレベルのマテリアル特性でレンダリング方程式を強化する物理ベースの遅延レンダリング、(II)ガウシアンスプラッティングパラダイム内で所望の相互反射関数を初めて実現するガウシアン基底相互反射。ジオメトリモデリングを強化するために、2Dガウスプリミティブとともに、マテリアルを考慮した法線伝搬とガウスごとの初期シェーディング段階をさらに導入する。標準的なデータセットを用いた広範な実験により、Ref-Gaussianが定量的指標、視覚的品質、計算効率の点で既存のアプローチを凌駕することが実証された。さらに、本手法が反射シーンと非反射シーンの両方に対する統一的なソリューションとして機能することを示す。また、Ref-Gaussianがリライティングや編集など、より多くのアプリケーションをサポートすることを示す。

要約(オリジナル)

Novel view synthesis has experienced significant advancements owing to increasingly capable NeRF- and 3DGS-based methods. However, reflective object reconstruction remains challenging, lacking a proper solution to achieve real-time, high-quality rendering while accommodating inter-reflection. To fill this gap, we introduce a Reflective Gaussian splatting (Ref-Gaussian) framework characterized with two components: (I) Physically based deferred rendering that empowers the rendering equation with pixel-level material properties via formulating split-sum approximation; (II) Gaussian-grounded inter-reflection that realizes the desired inter-reflection function within a Gaussian splatting paradigm for the first time. To enhance geometry modeling, we further introduce material-aware normal propagation and an initial per-Gaussian shading stage, along with 2D Gaussian primitives. Extensive experiments on standard datasets demonstrate that Ref-Gaussian surpasses existing approaches in terms of quantitative metrics, visual quality, and compute efficiency. Further, we show that our method serves as a unified solution for both reflective and non-reflective scenes, going beyond the previous alternatives focusing on only reflective scenes. Also, we illustrate that Ref-Gaussian supports more applications such as relighting and editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL