MixRT: Mixed Neural Representations For Real-Time NeRF Rendering

要約

Neural Radiance Field (NeRF) は、その優れたフォトリアリスティックな再構成およびレンダリング機能により、新しいビュー合成の主要な技術として浮上しました。
それにもかかわらず、大規模なシーンでリアルタイム NeRF レンダリングを実現するには課題があり、多くの場合、かなりの数の三角形を含む複雑なベイク済みメッシュ表現か、ベイク済み表現でのリソース集約型のレイ マーチングの採用につながります。
私たちは、フォトリアリスティックなレンダリング品質を達成するためには、実質的な三角形のメッシュで表される高品質のジオメトリが必要ではないことを観察し、これらの慣例に挑戦します。
したがって、低品質のメッシュ、ビュー依存のディスプレイスメント マップ、および圧縮された NeRF モデルを含む新しい NeRF 表現である MixRT を提案します。
この設計は既存のグラフィックス ハードウェアの機能を効果的に活用するため、エッジ デバイスでのリアルタイム NeRF レンダリングが可能になります。
高度に最適化された WebGL ベースのレンダリング フレームワークを活用することで、当社が提案する MixRT は、エッジ デバイスでのリアルタイム レンダリング速度 (MacBook M1 Pro ラップトップの解像度 1280 x 720 で 30 FPS 以上)、より優れたレンダリング品質 (0.2 PSNR の向上) を実現します。
Unbounded-360 データセットの屋内シーンなど）、ストレージ サイズが小さくなります（最先端の方法と比較して 80% 未満）。

要約(オリジナル)

Neural Radiance Field (NeRF) has emerged as a leading technique for novel view synthesis, owing to its impressive photorealistic reconstruction and rendering capability. Nevertheless, achieving real-time NeRF rendering in large-scale scenes has presented challenges, often leading to the adoption of either intricate baked mesh representations with a substantial number of triangles or resource-intensive ray marching in baked representations. We challenge these conventions, observing that high-quality geometry, represented by meshes with substantial triangles, is not necessary for achieving photorealistic rendering quality. Consequently, we propose MixRT, a novel NeRF representation that includes a low-quality mesh, a view-dependent displacement map, and a compressed NeRF model. This design effectively harnesses the capabilities of existing graphics hardware, thus enabling real-time NeRF rendering on edge devices. Leveraging a highly-optimized WebGL-based rendering framework, our proposed MixRT attains real-time rendering speeds on edge devices (over 30 FPS at a resolution of 1280 x 720 on a MacBook M1 Pro laptop), better rendering quality (0.2 PSNR higher in indoor scenes of the Unbounded-360 datasets), and a smaller storage size (less than 80% compared to state-of-the-art methods).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google