EnvGS: Modeling View-Dependent Appearance with Environment Gaussian

要約

現実世界のシーンの複雑な反射を 2D 画像から再構築することは、フォトリアリスティックな新しいビュー合成を実現するために不可欠です。
環境マップを利用して遠方の照明からの反射をモデル化する既存の方法では、多くの場合、高周波反射の詳細に問題があり、近距離の反射を考慮できません。
この研究では、環境の反射をキャプチャするための明示的な 3D 表現としてガウス プリミティブのセットを使用する新しいアプローチである EnvGS を紹介します。
これらの環境ガウス プリミティブは、シーン全体の外観をモデル化するために基本ガウス プリミティブと組み込まれます。
これらの環境ガウス プリミティブを効率的にレンダリングするために、GPU の RT コアを活用して高速レンダリングを行うレイ トレーシング ベースのレンダラーを開発しました。
これにより、リアルタイムのレンダリング速度を維持しながら、高品質の再構築のためにモデルを共同で最適化することができます。
複数の実世界および合成データセットからの結果は、私たちの方法がより詳細な反射を生成し、リアルタイムの新規ビュー合成で最高のレンダリング品質を達成していることを示しています。

要約(オリジナル)

Reconstructing complex reflections in real-world scenes from 2D images is essential for achieving photorealistic novel view synthesis. Existing methods that utilize environment maps to model reflections from distant lighting often struggle with high-frequency reflection details and fail to account for near-field reflections. In this work, we introduce EnvGS, a novel approach that employs a set of Gaussian primitives as an explicit 3D representation for capturing reflections of environments. These environment Gaussian primitives are incorporated with base Gaussian primitives to model the appearance of the whole scene. To efficiently render these environment Gaussian primitives, we developed a ray-tracing-based renderer that leverages the GPU’s RT core for fast rendering. This allows us to jointly optimize our model for high-quality reconstruction while maintaining real-time rendering speeds. Results from multiple real-world and synthetic datasets demonstrate that our method produces significantly more detailed reflections, achieving the best rendering quality in real-time novel view synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google