M2P2: A Multi-Modal Passive Perception Dataset for Off-Road Mobility in Extreme Low-Light Conditions

要約

長期、オフロード、自律的なミッションでは、周囲の照明条件に関係なく、ロボットが周囲を継続的に知覚する必要があります。
ほとんどの既存の自律システムは、環境ジオメトリとセマンティクスを認識するために、リダー、レーダー、フライト時間センサーなどのアクティブなセンシング、たとえば、使用可能なライトイメージングセンサー（カラーカメラなど）に大きく依存しています。
完全に受動的な認識が必要であり、照明条件が目に見えるライトカメラが認識できないほどに分解されるシナリオでは、障害物回避などのほとんどの下流のモビリティタスクが不可能になります。
このような課題に対処するために、このホワイトペーパーでは、低気光条件でオフロードモビリティを可能にするために、マルチモーダルパッシブ認識データセットM2P2を提示します。
サーマル、イベント、ステレオRGBカメラ、GPS、2つの慣性測定ユニット（IMUS）、およびグラウンドトゥルースの高解像度LIDARを含むマルチモーダルセンサースイートを設計します。
10時間の32 kmのデータセットには、ロボット臭気やアクションなどのモビリティデータも含まれており、舗装された、トレイル、およびトレイル外の地形とともに、明るい、低光、および無灯の条件をカバーしています。
我々の結果は、エンドツーエンドの学習と古典的計画を使用して、極端な低光条件での受動的認識のみを通じてオフロードモビリティが可能であることを示しています。
プロジェクトのウェブサイトは、https：//cs.gmu.edu/~xiao/research/m2p2/にあります。

要約(オリジナル)

Long-duration, off-road, autonomous missions require robots to continuously perceive their surroundings regardless of the ambient lighting conditions. Most existing autonomy systems heavily rely on active sensing, e.g., LiDAR, RADAR, and Time-of-Flight sensors, or use (stereo) visible light imaging sensors, e.g., color cameras, to perceive environment geometry and semantics. In scenarios where fully passive perception is required and lighting conditions are degraded to an extent that visible light cameras fail to perceive, most downstream mobility tasks such as obstacle avoidance become impossible. To address such a challenge, this paper presents a Multi-Modal Passive Perception dataset, M2P2, to enable off-road mobility in low-light to no-light conditions. We design a multi-modal sensor suite including thermal, event, and stereo RGB cameras, GPS, two Inertia Measurement Units (IMUs), as well as a high-resolution LiDAR for ground truth, with a novel multi-sensor calibration procedure that can efficiently transform multi-modal perceptual streams into a common coordinate system. Our 10-hour, 32 km dataset also includes mobility data such as robot odometry and actions and covers well-lit, low-light, and no-light conditions, along with paved, on-trail, and off-trail terrain. Our results demonstrate that off-road mobility is possible through only passive perception in extreme low-light conditions using end-to-end learning and classical planning. The project website can be found at https://cs.gmu.edu/~xiao/Research/M2P2/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google