CoPeD-Advancing Multi-Robot Collaborative Perception: A Comprehensive Dataset in Real-World Environments

要約

過去 10 年間で、単一ロボットの知覚は大幅に進歩しましたが、複数のロボットによる協調的な知覚の探求はほとんど未踏のままです。
これには、センサーのノイズ、遮蔽、センサーの故障などの課題にもかかわらず、圧縮、断続的、限定的、異質、非同期の環境情報を複数のロボット間で融合して、全体的な知覚を向上させることが含まれます。
大きなハードルの 1 つは、現実世界のデータセットが不足していることです。
この論文では、この分野の研究を促進するための、先駆的かつ包括的な実世界のマルチロボット協調知覚データセットを紹介します。
私たちのデータセットは、明確な空間視点、補完的なロボットの可動性、カバー範囲、センサーのモダリティを特徴とする空地ロボットのコラボレーションの未開発の可能性を活用しています。
生のセンサー入力、姿勢推定、およびオプションの高レベルの知覚注釈を備えているため、多様な研究関心に対応できます。
主に同時位置特定とマッピング (SLAM) 用に設計された既存のデータセットと比較して、私たちのセットアップは、センサー ビューの多様な範囲と適切な重複を確保し、複数ロボットの協調知覚アルゴリズムの研究を容易にします。
私たちは、複数の共同認識タスクを通じて、このデータセットの価値を定性的に実証します。
私たちは、この研究によって、マルチロボット環境におけるマルチモーダルな協調知覚を通じた高レベルのシーン理解に関する研究の可能性が解き放たれると信じています。

要約(オリジナル)

In the past decade, although single-robot perception has made significant advancements, the exploration of multi-robot collaborative perception remains largely unexplored. This involves fusing compressed, intermittent, limited, heterogeneous, and asynchronous environmental information across multiple robots to enhance overall perception, despite challenges like sensor noise, occlusions, and sensor failures. One major hurdle has been the lack of real-world datasets. This paper presents a pioneering and comprehensive real-world multi-robot collaborative perception dataset to boost research in this area. Our dataset leverages the untapped potential of air-ground robot collaboration featuring distinct spatial viewpoints, complementary robot mobilities, coverage ranges, and sensor modalities. It features raw sensor inputs, pose estimation, and optional high-level perception annotation, thus accommodating diverse research interests. Compared to existing datasets predominantly designed for Simultaneous Localization and Mapping (SLAM), our setup ensures a diverse range and adequate overlap of sensor views to facilitate the study of multi-robot collaborative perception algorithms. We demonstrate the value of this dataset qualitatively through multiple collaborative perception tasks. We believe this work will unlock the potential research of high-level scene understanding through multi-modal collaborative perception in multi-robot settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google