NEWTON: Neural View-Centric Mapping for On-the-Fly Large-Scale SLAM

要約

ニューラル フィールド ベースの 3D 表現は、SLAM システムを含む多くの分野で最近採用されています。
現在のニューラル SLAM またはオンライン マッピング システムは、単純なキャプチャの存在下で印象的な結果をもたらしますが、単一のニューラル フィールド モデルのみが使用されるため、世界中心のマップ表現に依存しています。
このような世界中心の表現を定義するには、境界や初期カメラ ポーズなど、シーンに関する正確で静的な事前情報が必要です。
ただし、リアルタイムおよびオンザフライのシーン キャプチャ アプリケーションでは、この事前知識は動的に変化し、実行時の観察に基づいて大幅に更新されるため、固定または静的であると見なすことはできません。
特に大規模なマッピングのコンテキストでは、大きなカメラ ポーズのドリフトは避けられず、ループ クロージャーによる補正が必要です。
この制限を克服するために、実行時の観察に基づいて神経場を動的に構築するビュー中心のマッピング手法である NEWTON を提案します。
以前の作業とは対照的に、私たちの方法は、選択されたキーフレームのローカル座標系で定義された複数のニューラル フィールドでシーンを表すことにより、ループ クロージャとシーン境界の更新を使用してカメラ ポーズの更新を可能にします。
実験結果は、特にカメラポーズの更新を受ける大規模なシーンで、既存の世界中心のニューラルフィールドベースのSLAMシステムよりも優れたパフォーマンスを発揮することを示しています。

要約(オリジナル)

Neural field-based 3D representations have recently been adopted in many areas including SLAM systems. Current neural SLAM or online mapping systems lead to impressive results in the presence of simple captures, but they rely on a world-centric map representation as only a single neural field model is used. To define such a world-centric representation, accurate and static prior information about the scene, such as its boundaries and initial camera poses, are required. However, in real-time and on-the-fly scene capture applications, this prior knowledge cannot be assumed as fixed or static, since it dynamically changes and it is subject to significant updates based on run-time observations. Particularly in the context of large-scale mapping, significant camera pose drift is inevitable, necessitating the correction via loop closure. To overcome this limitation, we propose NEWTON, a view-centric mapping method that dynamically constructs neural fields based on run-time observation. In contrast to prior works, our method enables camera pose updates using loop closures and scene boundary updates by representing the scene with multiple neural fields, where each is defined in a local coordinate system of a selected keyframe. The experimental results demonstrate the superior performance of our method over existing world-centric neural field-based SLAM systems, in particular for large-scale scenes subject to camera pose updates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google