M2P2: A Multi-Modal Passive Perception Dataset for Off-Road Mobility in Extreme Low-Light Conditions

要約

長時間にわたるオフロードの自律ミッションでは、ロボットが周囲の照明条件に関係なく周囲を継続的に認識する必要があります。
既存の自律システムのほとんどは、環境の幾何学形状とセマンティクスを認識するために、LiDAR、RADAR、飛行時間センサーなどのアクティブ センシングに大きく依存するか、カラー カメラなどの (ステレオ) 可視光イメージング センサーを使用します。
完全に受動的な知覚が必要で、可視光カメラが認識できない程度に照明条件が悪化するシナリオでは、障害物回避などの下流のモビリティタスクのほとんどが不可能になります。
このような課題に対処するために、この論文では、薄明かりから無光の状態でのオフロードモビリティを可能にするマルチモーダル受動的知覚データセット M2P2 を紹介します。
当社は、サーマル、イベント、ステレオ RGB カメラ、GPS、2 つの慣性測定ユニット (IMU)、およびグランド トゥルース用の高解像度 LiDAR を含むマルチモーダル センサー スイートを、新しいマルチセンサー キャリブレーション手順を使用して設計します。
マルチモーダルな知覚ストリームを共通の座標系に効率的に変換します。
当社の 10 時間、32 km のデータセットには、ロボットのオドメトリやアクションなどのモビリティ データも含まれており、明るい場所、暗い場所、光のない状態、さらに舗装された場所、トレイル上、トレイル外の地形もカバーしています。
私たちの結果は、エンドツーエンドの学習と古典的な計画を使用した極度の低照度条件下での受動的な知覚のみによってオフロードモビリティが可能であることを示しています。
プロジェクトの Web サイトは https://cs.gmu.edu/~xiao/Research/M2P2/ にあります。

要約(オリジナル)

Long-duration, off-road, autonomous missions require robots to continuously perceive their surroundings regardless of the ambient lighting conditions. Most existing autonomy systems heavily rely on active sensing, e.g., LiDAR, RADAR, and Time-of-Flight sensors, or use (stereo) visible light imaging sensors, e.g., color cameras, to perceive environment geometry and semantics. In scenarios where fully passive perception is required and lighting conditions are degraded to an extent that visible light cameras fail to perceive, most downstream mobility tasks such as obstacle avoidance become impossible. To address such a challenge, this paper presents a Multi-Modal Passive Perception dataset, M2P2, to enable off-road mobility in low-light to no-light conditions. We design a multi-modal sensor suite including thermal, event, and stereo RGB cameras, GPS, two Inertia Measurement Units (IMUs), as well as a high-resolution LiDAR for ground truth, with a novel multi-sensor calibration procedure that can efficiently transform multi-modal perceptual streams into a common coordinate system. Our 10-hour, 32 km dataset also includes mobility data such as robot odometry and actions and covers well-lit, low-light, and no-light conditions, along with paved, on-trail, and off-trail terrain. Our results demonstrate that off-road mobility is possible through only passive perception in extreme low-light conditions using end-to-end learning and classical planning. The project website can be found at https://cs.gmu.edu/~xiao/Research/M2P2/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google