When Gaussian Meets Surfel: Ultra-fast High-fidelity Radiance Field Rendering

要約

ラディアンスフィールドレンダリングのバイスケール表現であるガウスで強化されたサーフェル（GESS）を紹介します。ここでは、ビュー依存の色を持つ2D不透明なサーフェルのセットが、シーンの粗いスケールのジオメトリと外観を表し、サーフェルサプリメントサプリメントの詳細を囲むいくつかの3Dガウス人を表します。
GESSでのレンダリングは2つのパスで構成されています。サーフェルは最初に標準のグラフィックスパイプラインを介してラスター化され、深さとカラーマップを生成し、ガウス人は各ピクセルの順序に深さテストと色の蓄積を独立してスプラットします。
マルチビュー画像からのGESSの最適化は、豊かなシーンの外観を忠実にキャプチャして、精巧な粗い手順を通じて実行されます。
Gessの完全にソートフリーのレンダリングは、非常に速いレートを達成するだけでなく、ビューのない画像を生成し、ビューの変更の下でポップなアーティファクトを避けます。
基本的なGES表現を簡単に拡張して、レンダリング（MIP-GES）でアンチエイリアシングを実現し、レンダリング速度（スピーディージョージ）およびコンパクトストレージ（コンパクトゲージ）をブーストし、3Dガウシア人を2Dガウス（2D-GES）に置き換えることにより、より良いシーンのジオメトリを再構築することができます。
実験結果は、Gessが最先端の高忠実度ラディアンスフィールドレンダリングの説得力のある表現として前進することを示しています。

要約(オリジナル)

We introduce Gaussian-enhanced Surfels (GESs), a bi-scale representation for radiance field rendering, wherein a set of 2D opaque surfels with view-dependent colors represent the coarse-scale geometry and appearance of scenes, and a few 3D Gaussians surrounding the surfels supplement fine-scale appearance details. The rendering with GESs consists of two passes — surfels are first rasterized through a standard graphics pipeline to produce depth and color maps, and then Gaussians are splatted with depth testing and color accumulation on each pixel order independently. The optimization of GESs from multi-view images is performed through an elaborate coarse-to-fine procedure, faithfully capturing rich scene appearance. The entirely sorting-free rendering of GESs not only achieves very fast rates, but also produces view-consistent images, successfully avoiding popping artifacts under view changes. The basic GES representation can be easily extended to achieve anti-aliasing in rendering (Mip-GES), boosted rendering speeds (Speedy-GES) and compact storage (Compact-GES), and reconstruct better scene geometries by replacing 3D Gaussians with 2D Gaussians (2D-GES). Experimental results show that GESs advance the state-of-the-arts as a compelling representation for ultra-fast high-fidelity radiance field rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google