Neural Surface Reconstruction and Rendering for LiDAR-Visual Systems

要約

この論文では、神経放射フィールド (NeRF) とニューラル ディスタンス フィールド (NDF) を統合して、ポーズ画像と点群から外観と構造情報の両方を回復する、LiDAR ビジュアル システム用の統一された表面再構築およびレンダリング フレームワークを紹介します。
私たちは、可視認識占有マップを利用して空間を自由領域、占有領域、可視未知領域、および背景領域に分類することにより、NeRF と NDF の間の目に見える構造的なギャップに対処します。
この分類により、シーンの完全な外観と構造の復元が容易になります。
構造と外観の両方の詳細レベルについて、空間的に変化するスケールの SDF から密度への変換を使用して、NDF と NeRF のトレーニングを統合します。
提案された方法は、正確な構造レンダリングのための適応球面追跡サンプリング戦略による構造認識 NeRF トレーニングに学習された NDF を活用します。
その代わりに、NeRF は、NDF 内の欠落または曖昧な構造を回復する際に構造をさらに洗練します。
広範な実験により、さまざまなシナリオにわたって提案された方法の優れた品質と多用途性が実証されています。
コミュニティに利益をもたらすために、コードは \url{https://github.com/hku-mars/M2Mapping} でリリースされます。

要約(オリジナル)

This paper presents a unified surface reconstruction and rendering framework for LiDAR-visual systems, integrating Neural Radiance Fields (NeRF) and Neural Distance Fields (NDF) to recover both appearance and structural information from posed images and point clouds. We address the structural visible gap between NeRF and NDF by utilizing a visible-aware occupancy map to classify space into the free, occupied, visible unknown, and background regions. This classification facilitates the recovery of a complete appearance and structure of the scene. We unify the training of the NDF and NeRF using a spatial-varying scale SDF-to-density transformation for levels of detail for both structure and appearance. The proposed method leverages the learned NDF for structure-aware NeRF training by an adaptive sphere tracing sampling strategy for accurate structure rendering. In return, NeRF further refines structural in recovering missing or fuzzy structures in the NDF. Extensive experiments demonstrate the superior quality and versatility of the proposed method across various scenarios. To benefit the community, the codes will be released at \url{https://github.com/hku-mars/M2Mapping}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google