VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis

要約

高品質のビュー合成を作成することは没入型アプリケーションには不可欠ですが、特に屋内環境やリアルタイム展開では引き続き問題が発生します。
現在の技術では、トレーニングとレンダリングの両方に多大な計算時間を必要とすることが多く、幾何学的構造が不十分であるため、理想的とは言えない 3D 表現が生成されることがよくあります。
これを克服するために、ボリューム表現を活用して屋内ビュー合成の品質と効率を向上させる新しいアプローチである VoxNeRF を紹介します。
まず、VoxNeRF は構造化されたシーン ジオメトリを構築し、それをボクセルベースの表現に変換します。
多重解像度のハッシュ グリッドを採用して空間特徴を適応的にキャプチャし、屋内シーンのオクルージョンや複雑なジオメトリを効果的に管理します。
次に、独自のボクセルガイドによる効率的なサンプリング手法を提案します。
この技術革新により、光線セグメントの最も関連性の高い部分に計算リソースが選択的に集中され、最適化時間が大幅に短縮されます。
私たちは 3 つの屋内公開データセットに対してアプローチを検証し、VoxNeRF が最先端の手法よりも優れていることを実証しました。
驚くべきことに、トレーニング時間とレンダリング時間の両方を短縮しながらこれらの利点を達成し、速度において Instant-NGP を上回り、テクノロジーをリアルタイムに近づけます。

要約(オリジナル)

Creating high-quality view synthesis is essential for immersive applications but continues to be problematic, particularly in indoor environments and for real-time deployment. Current techniques frequently require extensive computational time for both training and rendering, and often produce less-than-ideal 3D representations due to inadequate geometric structuring. To overcome this, we introduce VoxNeRF, a novel approach that leverages volumetric representations to enhance the quality and efficiency of indoor view synthesis. Firstly, VoxNeRF constructs a structured scene geometry and converts it into a voxel-based representation. We employ multi-resolution hash grids to adaptively capture spatial features, effectively managing occlusions and the intricate geometry of indoor scenes. Secondly, we propose a unique voxel-guided efficient sampling technique. This innovation selectively focuses computational resources on the most relevant portions of ray segments, substantially reducing optimization time. We validate our approach against three public indoor datasets and demonstrate that VoxNeRF outperforms state-of-the-art methods. Remarkably, it achieves these gains while reducing both training and rendering times, surpassing even Instant-NGP in speed and bringing the technology closer to real-time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google