H2-Mapping: Real-time Dense Mapping Using Hierarchical Hybrid Representation

要約

高品質の高密度マップをリアルタイムで構築することは、ロボット工学、AR/VR、デジタル ツイン アプリケーションにとって不可欠です。
Neural Radiance Field (NeRF) によりマッピング性能が大幅に向上するため、本論文では、エッジコンピュータ上でも高品質な再構成とリアルタイム機能を可能にする NeRF ベースのマッピング手法を提案します。
具体的には、明示的なオクツリー SDF 事前分布を利用した暗黙的な多重解像度ハッシュ エンコーディングを活用し、さまざまな詳細レベルでシーンを記述する、新しい階層ハイブリッド表現を提案します。
この表現により、シーン ジオメトリの高速な初期化が可能になり、シーン ジオメトリの学習が容易になります。
さらに、忘却の問題に対処し、特に周辺領域でのマッピング品質を向上させるために、カバレッジを最大化するキーフレーム選択戦略を提案します。
私たちの知る限り、私たちの方法は、ハンドヘルド デバイスやクアッドローターのエッジ コンピューター上で高品質の NeRF ベースのマッピングをリアルタイムで実現する最初の方法です。
実験では、私たちの方法が、ジオメトリの精度、テクスチャのリアリズム、および時間の消費において、既存の NeRF ベースのマッピング方法よりも優れていることが実証されています。
コードは https://github.com/SYSU-STAR/H2-Mapping でリリースされます。

要約(オリジナル)

Constructing a high-quality dense map in real-time is essential for robotics, AR/VR, and digital twins applications. As Neural Radiance Field (NeRF) greatly improves the mapping performance, in this paper, we propose a NeRF-based mapping method that enables higher-quality reconstruction and real-time capability even on edge computers. Specifically, we propose a novel hierarchical hybrid representation that leverages implicit multiresolution hash encoding aided by explicit octree SDF priors, describing the scene at different levels of detail. This representation allows for fast scene geometry initialization and makes scene geometry easier to learn. Besides, we present a coverage-maximizing keyframe selection strategy to address the forgetting issue and enhance mapping quality, particularly in marginal areas. To the best of our knowledge, our method is the first to achieve high-quality NeRF-based mapping on edge computers of handheld devices and quadrotors in real-time. Experiments demonstrate that our method outperforms existing NeRF-based mapping methods in geometry accuracy, texture realism, and time consumption. The code will be released at: https://github.com/SYSU-STAR/H2-Mapping

arxiv情報

提供元, 利用サービス

arxiv.jp, Google