MIPS-Fusion: Multi-Implicit-Submaps for Scalable and Robust Online Neural RGB-D Reconstruction

要約

新しいニューラル暗黙的表現であるマルチ暗黙的サブマップに基づいた、堅牢でスケーラブルなオンライン RGB-D 再構成手法である MIPS-Fusion を紹介します。
単一のニューラル マップによる柔軟性や、特徴グリッドの追加ストレージによるスケーラビリティのいずれかを欠く既存のニューラル RGB-D 再構成手法とは異なり、分割統治設計で両方の困難に取り組む純粋なニューラル表現を提案します。
私たちの方法では、神経サブマップはスキャン軌跡に沿って段階的に割り当てられ、局所的な神経束調整によって効率的に学習されます。
サブマップは、バックエンドの最適化で個別に調整したり、共同で最適化してサブマップ レベルのループ クロージャを実現したりできます。
一方、ランダム化された姿勢最適化と勾配ベースの姿勢最適化を組み合わせたハイブリッド追跡アプローチを提案します。
学習プロセスに対するいくつかの主要な設計により、ニューラル トラッキングでランダム化された最適化が初めて可能になり、高速なカメラ モーション下でも効率的かつ堅牢なトラッキングが可能になります。
広範な評価により、私たちの方法は、大規模なシーンや高速なカメラの動きの下で、最新技術よりも高い再構成品質を達成できることが実証されました。

要約(オリジナル)

We introduce MIPS-Fusion, a robust and scalable online RGB-D reconstruction method based on a novel neural implicit representation — multi-implicit-submap. Different from existing neural RGB-D reconstruction methods lacking either flexibility with a single neural map or scalability due to extra storage of feature grids, we propose a pure neural representation tackling both difficulties with a divide-and-conquer design. In our method, neural submaps are incrementally allocated alongside the scanning trajectory and efficiently learned with local neural bundle adjustments. The submaps can be refined individually in a back-end optimization and optimized jointly to realize submap-level loop closure. Meanwhile, we propose a hybrid tracking approach combining randomized and gradient-based pose optimizations. For the first time, randomized optimization is made possible in neural tracking with several key designs to the learning process, enabling efficient and robust tracking even under fast camera motions. The extensive evaluation demonstrates that our method attains higher reconstruction quality than the state of the arts for large-scale scenes and under fast camera motions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google