MEM: Multi-Modal Elevation Mapping for Robotics and Learning

要約

標高マップは移動ロボットの環境を表すために一般的に使用され、移動やナビゲーションのタスクに役立ちます。
ただし、純粋な幾何学的情報は、外観や意味論的な情報を必要とする多くのフィールド アプリケーションには不十分であり、他のプラットフォームやドメインへの適用性が制限されます。
この研究では、複数のソースからのマルチモーダル情報を一般的な地図表現に融合することにより、2.5D ロボット中心の標高マッピング フレームワークを拡張します。
点群や画像に含まれるデータを統一的に入力できるフレームワークです。
データのさまざまな性質を管理するために、情報の種類とユーザーの要件に基づいて選択できる一連の融合アルゴリズムも提供します。
私たちのシステムは GPU 上で実行されるように設計されており、さまざまなロボットおよび学習タスクをリアルタイムで実行できます。
さまざまなセンサー構成を備えた複数のロボットにフレームワークを展開し、線検出、人間検出、色付けなどのマルチモーダル レイヤーを利用するさまざまなアプリケーションを紹介することで、フレームワークの機能を実証します。

要約(オリジナル)

Elevation maps are commonly used to represent the environment of mobile robots and are instrumental for locomotion and navigation tasks. However, pure geometric information is insufficient for many field applications that require appearance or semantic information, which limits their applicability to other platforms or domains. In this work, we extend a 2.5D robot-centric elevation mapping framework by fusing multi-modal information from multiple sources into a popular map representation. The framework allows inputting data contained in point clouds or images in a unified manner. To manage the different nature of the data, we also present a set of fusion algorithms that can be selected based on the information type and user requirements. Our system is designed to run on the GPU, making it real-time capable for various robotic and learning tasks. We demonstrate the capabilities of our framework by deploying it on multiple robots with varying sensor configurations and showcasing a range of applications that utilize multi-modal layers, including line detection, human detection, and colorization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google