FreGS: 3D Gaussian Splatting with Progressive Frequency Regularization

要約

3D ガウス スプラッティングは、リアルタイムのノベル ビュー合成において非常に印象的なパフォーマンスを達成しました。
ただし、ガウス高密度化中には、分散の高い画像領域が少数の大きなガウス分布のみでカバーされるため、レンダリングされた画像にブラーやアーチファクトが発生する過剰再構成が発生することがよくあります。
私たちは、周波数空間内の過剰再構成の問題に取り組むために、漸進的周波数正則化 (FreGS) 手法を設計します。
具体的には、FreGS は、フーリエ空間のローパス フィルターとハイパス フィルターで簡単に抽出できる低周波から高周波成分を利用して、粗いから細かいまでのガウス密度化を実行します。
レンダリングされたイメージの周波数スペクトルと対応するグラウンド トゥルース間の不一致を最小限に抑えることで、高品質のガウス密度化が実現され、ガウス スプラッティングの過剰な再構築が効果的に軽減されます。
広く採用されている複数のベンチマーク (Mip-NeRF360、Tanks-and-Temples、Deep Blending など) の実験では、FreGS が優れた新規ビュー合成を達成し、一貫して最先端のベンチマークを上回るパフォーマンスを示しています。

要約(オリジナル)

3D Gaussian splatting has achieved very impressive performance in real-time novel view synthesis. However, it often suffers from over-reconstruction during Gaussian densification where high-variance image regions are covered by a few large Gaussians only, leading to blur and artifacts in the rendered images. We design a progressive frequency regularization (FreGS) technique to tackle the over-reconstruction issue within the frequency space. Specifically, FreGS performs coarse-to-fine Gaussian densification by exploiting low-to-high frequency components that can be easily extracted with low-pass and high-pass filters in the Fourier space. By minimizing the discrepancy between the frequency spectrum of the rendered image and the corresponding ground truth, it achieves high-quality Gaussian densification and alleviates the over-reconstruction of Gaussian splatting effectively. Experiments over multiple widely adopted benchmarks (e.g., Mip-NeRF360, Tanks-and-Temples and Deep Blending) show that FreGS achieves superior novel view synthesis and outperforms the state-of-the-art consistently.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google