StopThePop: Sorted Gaussian Splatting for View-Consistent Real-time Rendering

要約

ガウス スプラッティングは、さまざまな領域の画像から 3D 表現を構築するための優れたモデルとして浮上しています。
ただし、3D ガウス スプラッティング レンダリング パイプラインの効率は、いくつかの単純化に依存します。
特に、単一のビュー空間深度でガウスを 2D スプラットに縮小すると、ビューの回転中にポップやブレンディング アーティファクトが発生します。
この問題に対処するには、正確なピクセルごとの深さの計算が必要ですが、完全なピクセルごとの並べ替えは、グローバルな並べ替え操作と比較して過度にコストがかかることがわかります。
この論文では、最小限の処理オーバーヘッドで体系的にスプラットを再ソートおよびカリングする、新しい階層ラスター化アプローチを紹介します。
当社のソフトウェア ラスタライザーは、定量的および定性的測定の両方で実証されているように、ポップ アーティファクトやビューの不一致を効果的に排除します。
同時に、私たちの方法は、ポッピングによるビュー依存効果の不正行為の可能性を軽減し、より本物の表現を保証します。
不正行為を排除したにもかかわらず、私たちのアプローチはテスト画像に対して同等の定量的結果を達成し、同時に動作中の新しいビュー合成の一貫性を高めます。
その設計により、階層的アプローチは元のガウス スプラッティングよりも平均でわずか 4% 遅いだけです。
特に、一貫性を強化すると、ほぼ同じ品質とビューの一貫性を保ちながら、ガウスの数を約半分に減らすことができます。
その結果、レンダリング パフォーマンスがほぼ 2 倍になり、このアプローチは元のガウス スプラッティングよりも 1.6 倍高速になり、メモリ要件が 50% 削減されます。

要約(オリジナル)

Gaussian Splatting has emerged as a prominent model for constructing 3D representations from images across diverse domains. However, the efficiency of the 3D Gaussian Splatting rendering pipeline relies on several simplifications. Notably, reducing Gaussian to 2D splats with a single view-space depth introduces popping and blending artifacts during view rotation. Addressing this issue requires accurate per-pixel depth computation, yet a full per-pixel sort proves excessively costly compared to a global sort operation. In this paper, we present a novel hierarchical rasterization approach that systematically resorts and culls splats with minimal processing overhead. Our software rasterizer effectively eliminates popping artifacts and view inconsistencies, as demonstrated through both quantitative and qualitative measurements. Simultaneously, our method mitigates the potential for cheating view-dependent effects with popping, ensuring a more authentic representation. Despite the elimination of cheating, our approach achieves comparable quantitative results for test images, while increasing the consistency for novel view synthesis in motion. Due to its design, our hierarchical approach is only 4% slower on average than the original Gaussian Splatting. Notably, enforcing consistency enables a reduction in the number of Gaussians by approximately half with nearly identical quality and view-consistency. Consequently, rendering performance is nearly doubled, making our approach 1.6x faster than the original Gaussian Splatting, with a 50% reduction in memory requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google