MapEval: Towards Unified, Robust and Efficient SLAM Map Evaluation Framework

要約

主に統一された堅牢で効率的な評価フレームワークが存在しないため、同時ローカリゼーションとマッピング（SLAM）の大規模なポイントクラウドマップの評価（SLAM）は依然として挑戦的です。
ポイントクラウドマップの包括的な品質評価のためのオープンソースフレームワークであるMapevalを提示します。特に、グラウンドトゥルースマップがマッピングされた環境と比較して本質的にまばらであるスラムシナリオに対処します。
SLAMアプリケーションでの既存の評価メトリックの体系的な分析を通じて、それらの基本的な制限を特定し、一貫したマップ品質評価のための明確なガイドラインを確立します。
これらの洞察に基づいて、私たちはボクセル化空間での新しいガウス補助ワッサースタイン距離を提案し、同じエラー標準の下で2つの相補的なメトリックを可能にします：ボクセル化された平均ワッサースタイン距離（AWD）。
。
この理論的基礎は、従来のメトリックと比較して、ノイズと計算効率に対する堅牢性の両方の大幅な改善につながります。
シミュレートされたデータセットと実際のデータセットの両方での広範な実験は、Mapevalが評価の完全性を維持しながら、少なくとも\ si {100} – \ si {500} {} {} {} {} {} {} {} {} {}を達成することを示しています。
Mapeval Library \ footnote {\ texttt {https://github.com/jokerjohn/cloud\_map\_evaluation}}は、ロボットコミュニティの標準化されたマップ評価プラクティスを促進するために公開されます。

要約(オリジナル)

Evaluating massive-scale point cloud maps in Simultaneous Localization and Mapping (SLAM) remains challenging, primarily due to the absence of unified, robust and efficient evaluation frameworks. We present MapEval, an open-source framework for comprehensive quality assessment of point cloud maps, specifically addressing SLAM scenarios where ground truth map is inherently sparse compared to the mapped environment. Through systematic analysis of existing evaluation metrics in SLAM applications, we identify their fundamental limitations and establish clear guidelines for consistent map quality assessment. Building upon these insights, we propose a novel Gaussian-approximated Wasserstein distance in voxelized space, enabling two complementary metrics under the same error standard: Voxelized Average Wasserstein Distance (AWD) for global geometric accuracy and Spatial Consistency Score (SCS) for local consistency evaluation. This theoretical foundation leads to significant improvements in both robustness against noise and computational efficiency compared to conventional metrics. Extensive experiments on both simulated and real-world datasets demonstrate that MapEval achieves at least \SI{100}{}-\SI{500}{} times faster while maintaining evaluation integrity. The MapEval library\footnote{\texttt{https://github.com/JokerJohn/Cloud\_Map\_Evaluation}} will be publicly available to promote standardized map evaluation practices in the robotics community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google