Benchmarking SLAM Algorithms in the Cloud: The SLAM Hive Benchmarking Suite

要約

Simultaneous Localization and Mapping (SLAM) アルゴリズムのパフォーマンスを評価することは、科学者にとってもロボット システムのユーザーにとっても同様に不可欠です。
しかし、ハードウェアのセットアップやアルゴリズム構成、さらにはさまざまなデータセットやアルゴリズムの可能なオプションにはさまざまな組み合わせが多数存在するため、SLAM システムを最先端の完全なシステムと徹底的に比較することは以前は不可能でした。
これを解決するために、コンテナ テクノロジーとクラウドでの展開を利用して、数千回のマッピング実行で SLAM アルゴリズムを分析できる SLAM Hive Benchmarking Suite を紹介します。
このペーパーでは、SLAM Hive のアーキテクチャとオープンソース実装を示し、SLAM 評価に関する既存の取り組みと比較します。
一般的に使用されるデータセットに対して、一般的なビジュアル、RGBD、LiDAR ベースの SLAM アルゴリズムを使用してマッピングを実行し、SLAM Hive を使用して結果をさまざまな側面に対して便利に分析する方法を示します。
これにより、SLAM Hive が SLAM アルゴリズムの適切な比較と評価に不可欠なツールとなり、SLAM 研究の科学的発展を推進できると考えています。
オープンソース ソフトウェアと、数千回のマッピング実行のライブ分析を示すデモは、SLAM Hive Web サイトでご覧いただけます。

要約(オリジナル)

Evaluating the performance of Simultaneous Localization and Mapping (SLAM) algorithms is essential for scientists and users of robotic systems alike. But there are a multitude of different permutations of possible options of hardware setups and algorithm configurations, as well as different datasets and algorithms, such that it was previously infeasible to thoroughly compare SLAM systems against the full state of the art. To solve that we present the SLAM Hive Benchmarking Suite, which is able to analyze SLAM algorithms in 1000’s of mapping runs, through its utilization of container technology and deployment in the cloud. This paper presents the architecture and open source implementation of SLAM Hive and compares it to existing efforts on SLAM evaluation. We perform mapping runs with popular visual, RGBD and LiDAR based SLAM algorithms against commonly used datasets and show how SLAM Hive can be used to conveniently analyze the results against various aspects. Through this we envision that SLAM Hive can become an essential tool for proper comparisons and evaluations of SLAM algorithms and thus drive the scientific development in the research on SLAM. The open source software as well as a demo to show the live analysis of 1000’s of mapping runs can be found on our SLAM Hive website.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google