Towards Robust Perception for Assistive Robotics: An RGB-Event-LiDAR Dataset and Multi-Modal Detection Pipeline

要約

人間とロボットのインタラクションの採用が増えていることは、盲導犬のような補助ロボットなどの応用を通じて、テクノロジーが生活、特に視覚障害を持つ人々の生活にプラスの影響を与える機会をもたらしています。
私たちは、そのようなシステムに必要な認識と「知的不服従」を調査するパイプラインを紹介します。
3D 位置特定のための LiDAR データを使用した、RGB ベースとイベントベースのマルチモーダル動的物体検出を比較するために、視界に出入りする 2 人の人物のデータセットが準備されました。
私たちの分析では、2D 画像と LiDAR の融合を使用した正確な 3D 位置特定における課題が浮き彫りになり、さらなる改良の必要性が示されています。
利用されているフレームベースの検出アルゴリズム (YOLOv4) のパフォーマンスと比較すると、現在の最先端のイベントベースの検出モデルは、自動車プラットフォームなどの状況に応じたシナリオに限定されているように見えます。
これは、フレームベースの検出をグラウンド トゥルースとして使用する場合、さまざまな信頼性とユニオン (IoU) しきい値に対する精度と再現率が低いことで顕著になります。
したがって、現在公開されている風景のギャップを埋めるために、シーン内の 2 人の人物のグラウンド トゥルース ポーズとともに、RGB、イベント、点群、および慣性測定ユニット (IMU) データを含むこのデータセットをコミュニティに公開しました。
データセットを収集し、将来的にはより安全で堅牢なアルゴリズムの開発を支援する手段を提供します: https://uts-ri.github.io/revel/。

要約(オリジナル)

The increasing adoption of human-robot interaction presents opportunities for technology to positively impact lives, particularly those with visual impairments, through applications such as guide-dog-like assistive robotics. We present a pipeline exploring the perception and ‘intelligent disobedience’ required by such a system. A dataset of two people moving in and out of view has been prepared to compare RGB-based and event-based multi-modal dynamic object detection using LiDAR data for 3D position localisation. Our analysis highlights challenges in accurate 3D localisation using 2D image-LiDAR fusion, indicating the need for further refinement. Compared to the performance of the frame-based detection algorithm utilised (YOLOv4), current cutting-edge event-based detection models appear limited to contextual scenarios, such as for automotive platforms. This is highlighted by weak precision and recall over varying confidence and Intersection over Union (IoU) thresholds when using frame-based detections as a ground truth. Therefore, we have publicly released this dataset to the community, containing RGB, event, point cloud and Inertial Measurement Unit (IMU) data along with ground truth poses for the two people in the scene to fill a gap in the current landscape of publicly available datasets and provide a means to assist in the development of safer and more robust algorithms in the future: https://uts-ri.github.io/revel/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google