Sparse Voxels Rasterization: Real-time High-fidelity Radiance Field Rendering

要約

ニューラルネットワークや3Dガウスのない適応スパースボクセルにラスター化プロセスを組み込んだ効率的なラディアンスフィールドレンダリングアルゴリズムを提案します。
提案されたシステムと相まって、2つの重要な貢献があります。
1つ目は、シーン内でスパースボクセルをさまざまなレベルの詳細に適応的かつ明示的に割り当てることであり、シーンの詳細を65536^3 $のグリッド解像度で忠実に再現し、高いレンダリングフレームレートを達成します。
第二に、効率的な適応スパースボクセルレンダリングのためにラスターザーをカスタマイズします。
レイの方向依存性モートン順序を使用して、正しい深さの順序でボクセルをレンダリングします。これは、ガウスのスプラッティングに見られるよく知られているポップアーティファクトを回避します。
私たちの方法は、以前のニューラルフリーのボクセルモデルを4dBを超えるPSNRおよび10倍以上のスピードアップだけで改善し、最先端の同等の新規ビュー合成結果を達成します。
さらに、当社のボクセル表現は、ボリュームフュージョン、ボクセルプーリング、行進キューブなどのグリッドベースの3D処理技術とシームレスに互換性があり、幅広い将来の拡張とアプリケーションを可能にします。

要約(オリジナル)

We propose an efficient radiance field rendering algorithm that incorporates a rasterization process on adaptive sparse voxels without neural networks or 3D Gaussians. There are two key contributions coupled with the proposed system. The first is to adaptively and explicitly allocate sparse voxels to different levels of detail within scenes, faithfully reproducing scene details with $65536^3$ grid resolution while achieving high rendering frame rates. Second, we customize a rasterizer for efficient adaptive sparse voxels rendering. We render voxels in the correct depth order by using ray direction-dependent Morton ordering, which avoids the well-known popping artifact found in Gaussian splatting. Our method improves the previous neural-free voxel model by over 4db PSNR and more than 10x FPS speedup, achieving state-of-the-art comparable novel-view synthesis results. Additionally, our voxel representation is seamlessly compatible with grid-based 3D processing techniques such as Volume Fusion, Voxel Pooling, and Marching Cubes, enabling a wide range of future extensions and applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google