MapEval: Towards Unified, Robust and Efficient SLAM Map Evaluation Framework

要約

Simultaneous Localization and Mapping (SLAM) で大規模な点群マップを評価することは、主に統合された堅牢かつ効率的な評価フレームワークが存在しないため、依然として困難です。
点群マップの包括的な品質評価のためのオープンソース フレームワークである MapEval を紹介します。特に、マップされた環境に比べてグラウンド トゥルース マップが本質的に疎である SLAM シナリオに対処します。
SLAM アプリケーションの既存の評価指標を系統的に分析することで、その根本的な限界を特定し、一貫したマップ品質評価のための明確なガイドラインを確立します。
これらの洞察に基づいて、私たちはボクセル化された空間における新しいガウス近似ワッサーシュタイン距離を提案し、同じ誤差標準の下で 2 つの相補的なメトリクスを可能にします。それは、グローバルな幾何学的精度のためのボクセル化平均ワッサーシュタイン距離 (AWD) と、ローカルな一貫性評価のための空間整合性スコア (SCS) です。
。
この理論的基盤により、従来のメトリクスと比較して、ノイズに対する堅牢性と計算効率の両方が大幅に向上します。
シミュレートされたデータセットと現実世界のデータセットの両方に対する広範な実験により、MapEval が評価の整合性を維持しながら少なくとも \SI{100}{}-\SI{500}{} 倍の速度を達成できることが実証されました。
MapEval library\footnote{\texttt{https://github.com/JokerJohn/Cloud\_Map\_Evaluation}} は、ロボット工学コミュニティで標準化された地図評価の実践を促進するために一般公開されます。

要約(オリジナル)

Evaluating massive-scale point cloud maps in Simultaneous Localization and Mapping (SLAM) remains challenging, primarily due to the absence of unified, robust and efficient evaluation frameworks. We present MapEval, an open-source framework for comprehensive quality assessment of point cloud maps, specifically addressing SLAM scenarios where ground truth map is inherently sparse compared to the mapped environment. Through systematic analysis of existing evaluation metrics in SLAM applications, we identify their fundamental limitations and establish clear guidelines for consistent map quality assessment. Building upon these insights, we propose a novel Gaussian-approximated Wasserstein distance in voxelized space, enabling two complementary metrics under the same error standard: Voxelized Average Wasserstein Distance (AWD) for global geometric accuracy and Spatial Consistency Score (SCS) for local consistency evaluation. This theoretical foundation leads to significant improvements in both robustness against noise and computational efficiency compared to conventional metrics. Extensive experiments on both simulated and real-world datasets demonstrate that MapEval achieves at least \SI{100}{}-\SI{500}{} times faster while maintaining evaluation integrity. The MapEval library\footnote{\texttt{https://github.com/JokerJohn/Cloud\_Map\_Evaluation}} will be publicly available to promote standardized map evaluation practices in the robotics community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google