From Perfect to Noisy World Simulation: Customizable Embodied Multi-modal Perturbations for SLAM Robustness Benchmarking

要約

身体化されたエージェントは、非構造化環境で動作するために堅牢なナビゲーション システムを必要とするため、身体化されたエージェントの自律性にとって同時位置特定とマッピング (SLAM) モデルの堅牢性が重要になります。
現実世界のデータセットは非常に貴重ですが、シミュレーションベースのベンチマークは堅牢性評価のためのスケーラブルなアプローチを提供します。
しかし、多様な摂動を伴う、挑戦的で制御可能な騒々しい世界の創造については、まだ研究が進んでいません。
この目的を達成するために、さまざまな摂動に対するマルチモーダル SLAM モデルの回復力を評価することを目的とした、ノイズの多いデータ合成用の新しいカスタマイズ可能なパイプラインを提案します。
このパイプラインは、具体化されたマルチモーダル (特に RGB-D) センシングのためのセンサーとモーション摂動の包括的な分類で構成され、ソースと伝播順序によって分類され、手続き的な構成が可能になります。
また、これらの摂動を合成するためのツールボックスも提供しており、クリーンな環境を困難なノイズの多いシミュレーションに変換できるようになります。
パイプラインを利用して、さまざまな種類の摂動を含む大規模な Noisy-Replica ベンチマークをインスタンス化し、既存の高度な RGB-D SLAM モデルのリスク許容度を評価します。
私たちの広範な分析により、標準ベンチマークで精度が実証されているにもかかわらず、ニューラル (NeRF およびガウス スプラッティング ベース) モデルと非ニューラル SLAM モデルの両方の外乱に対する感受性が明らかになりました。
私たちのコードは https://github.com/Xiaohao-Xu/SLAM-under-Perturbation で公開されています。

要約(オリジナル)

Embodied agents require robust navigation systems to operate in unstructured environments, making the robustness of Simultaneous Localization and Mapping (SLAM) models critical to embodied agent autonomy. While real-world datasets are invaluable, simulation-based benchmarks offer a scalable approach for robustness evaluations. However, the creation of a challenging and controllable noisy world with diverse perturbations remains under-explored. To this end, we propose a novel, customizable pipeline for noisy data synthesis, aimed at assessing the resilience of multi-modal SLAM models against various perturbations. The pipeline comprises a comprehensive taxonomy of sensor and motion perturbations for embodied multi-modal (specifically RGB-D) sensing, categorized by their sources and propagation order, allowing for procedural composition. We also provide a toolbox for synthesizing these perturbations, enabling the transformation of clean environments into challenging noisy simulations. Utilizing the pipeline, we instantiate the large-scale Noisy-Replica benchmark, which includes diverse perturbation types, to evaluate the risk tolerance of existing advanced RGB-D SLAM models. Our extensive analysis uncovers the susceptibilities of both neural (NeRF and Gaussian Splatting -based) and non-neural SLAM models to disturbances, despite their demonstrated accuracy in standard benchmarks. Our code is publicly available at https://github.com/Xiaohao-Xu/SLAM-under-Perturbation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google