Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting

要約

3D ガウス スプラッティング (3D-GS) の最近の進歩により、最新の GPU ラスタライゼーション パイプラインによるリアルタイム レンダリングが容易になっただけでなく、最先端のレンダリング品質も達成されました。
それにもかかわらず、3D-GS は、標準データセット上での優れたレンダリング品質とパフォーマンスにもかかわらず、鏡面反射成分と異方性成分を正確にモデリングする際にしばしば困難に遭遇します。
この問題は、高周波情報を表現する球面調和関数 (SH) の能力が限られていることに起因します。
この課題を克服するために、各 3D ガウスのビュー依存の外観をモデル化するために SH の代わりに異方性球面ガウス (ASG) の外観フィールドを利用するアプローチである Spec-Gaussian を導入します。
さらに、学習効率を向上させ、現実世界のシーンでの過剰適合によって引き起こされるフローターを排除するために、粗いトレーニングから細かいトレーニングへの戦略を開発しました。
私たちの実験結果は、私たちの方法がレンダリング品質の点で既存のアプローチを上回っていることを示しています。
ASG のおかげで、3D ガウスの数を増やすことなく、鏡面反射成分と異方性成分を含むシーンをモデル化する 3D-GS の機能が大幅に向上しました。
この改善により、3D GS の適用可能性が拡張され、鏡面および異方性サーフェスを含む複雑なシナリオを処理できるようになりました。
プロジェクトページは https://ingra14m.github.io/Spec-Gaussian-website/ です。

要約(オリジナル)

The recent advancements in 3D Gaussian splatting (3D-GS) have not only facilitated real-time rendering through modern GPU rasterization pipelines but have also attained state-of-the-art rendering quality. Nevertheless, despite its exceptional rendering quality and performance on standard datasets, 3D-GS frequently encounters difficulties in accurately modeling specular and anisotropic components. This issue stems from the limited ability of spherical harmonics (SH) to represent high-frequency information. To overcome this challenge, we introduce Spec-Gaussian, an approach that utilizes an anisotropic spherical Gaussian (ASG) appearance field instead of SH for modeling the view-dependent appearance of each 3D Gaussian. Additionally, we have developed a coarse-to-fine training strategy to improve learning efficiency and eliminate floaters caused by overfitting in real-world scenes. Our experimental results demonstrate that our method surpasses existing approaches in terms of rendering quality. Thanks to ASG, we have significantly improved the ability of 3D-GS to model scenes with specular and anisotropic components without increasing the number of 3D Gaussians. This improvement extends the applicability of 3D GS to handle intricate scenarios with specular and anisotropic surfaces. Project page is https://ingra14m.github.io/Spec-Gaussian-website/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google