RO-MAP: Real-Time Multi-Object Mapping with Neural Radiance Fields

要約

環境内のオブジェクトを正確に認識することは、SLAM システムのシーン理解能力を向上させるために重要です。
ロボットおよび拡張現実のアプリケーションでは、セマンティック情報とメトリック情報を備えたオブジェクト マップが魅力的な利点を示します。
この論文では、3D 事前分布に依存しない新しいマルチオブジェクト マッピング パイプラインである RO-MAP を紹介します。
単眼入力のみが与えられると、ニューラル放射輝度フィールドを使用してオブジェクトを表現し、それらをマルチビュー ジオメトリに基づく軽量オブジェクト SLAM と組み合わせて、同時にオブジェクトの位置を特定し、その密なジオメトリを暗黙的に学習します。
検出されたオブジェクトごとに個別の暗黙的モデルを作成し、新しい観測が追加されるたびにそれらを動的かつ並行してトレーニングします。
合成データセットと現実世界のデータセットでの実験により、私たちの方法が形状再構築を伴うセマンティック オブジェクト マップを生成でき、リアルタイム パフォーマンス (25Hz) を達成しながらオフライン方法と競合できることが実証されました。
コードとデータセットは、https://github.com/XiaoHan-Git/RO-MAP から入手できます。

要約(オリジナル)

Accurate perception of objects in the environment is important for improving the scene understanding capability of SLAM systems. In robotic and augmented reality applications, object maps with semantic and metric information show attractive advantages. In this paper, we present RO-MAP, a novel multi-object mapping pipeline that does not rely on 3D priors. Given only monocular input, we use neural radiance fields to represent objects and couple them with a lightweight object SLAM based on multi-view geometry, to simultaneously localize objects and implicitly learn their dense geometry. We create separate implicit models for each detected object and train them dynamically and in parallel as new observations are added. Experiments on synthetic and real-world datasets demonstrate that our method can generate semantic object map with shape reconstruction, and be competitive with offline methods while achieving real-time performance (25Hz). The code and dataset will be available at: https://github.com/XiaoHan-Git/RO-MAP

arxiv情報

提供元, 利用サービス

arxiv.jp, Google