Sparse Voxels Rasterization: Real-time High-fidelity Radiance Field Rendering

要約

私たちは、ニューラル ネットワークや 3D ガウスを使用せずに、まばらなボクセルのラスタライズ プロセスを組み込んだ、効率的な放射輝度フィールド レンダリング アルゴリズムを提案します。
提案されたシステムには 2 つの重要な貢献があります。
1 つ目は、動的なモートン順序付けを使用して、ピクセル レイに沿って正しい深度順序でまばらなボクセルをレンダリングすることです。
これにより、ガウス スプラッティングで見られるよく知られたポッピング アーティファクトが回避されます。
次に、まばらなボクセルをシーン内のさまざまな詳細レベルに適応的に適合させ、高いレンダリング フレーム レートを達成しながらシーンの詳細を忠実に再現します。
私たちの手法は、以前のニューラルフリー ボクセル グリッド表現を 4db 以上の PSNR と 10 倍以上のレンダリング FPS 高速化によって改善し、最先端の同等のノベルビュー合成結果を達成します。
さらに、ニューラルフリーのスパースボクセルは、グリッドベースの 3D 処理アルゴリズムとシームレスに互換性があります。
TSDF-Fusion と Marching Cubes をスパース グリッド システムに統合することで、期待できるメッシュ再構成精度を実現します。

要約(オリジナル)

We propose an efficient radiance field rendering algorithm that incorporates a rasterization process on sparse voxels without neural networks or 3D Gaussians. There are two key contributions coupled with the proposed system. The first is to render sparse voxels in the correct depth order along pixel rays by using dynamic Morton ordering. This avoids the well-known popping artifact found in Gaussian splatting. Second, we adaptively fit sparse voxels to different levels of detail within scenes, faithfully reproducing scene details while achieving high rendering frame rates. Our method improves the previous neural-free voxel grid representation by over 4db PSNR and more than 10x rendering FPS speedup, achieving state-of-the-art comparable novel-view synthesis results. Additionally, our neural-free sparse voxels are seamlessly compatible with grid-based 3D processing algorithms. We achieve promising mesh reconstruction accuracy by integrating TSDF-Fusion and Marching Cubes into our sparse grid system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google