Lightweight LiDAR-Camera 3D Dynamic Object Detection and Multi-Class Trajectory Prediction

要約

多くの場合、サービスモバイルロボットは、タスクを実行しながら動的なオブジェクトを避けるために必要ですが、通常、計算リソースは限られています。
そのため、3Dオブジェクトの検出と軌道予測のための軽量のマルチモーダルフレームワークを提示します。
私たちのシステムは、3Dスペースの歩行者、車両、ライダーのリアルタイム認識を実現するために、Lidarとカメラの入力を相乗的に統合します。
フレームワークは、2つの新しいモジュールを提案します。1）高精度と許容量の計算量を備えたオブジェクト検出のためのクロスモーダル変形トランス（CMDT）、および2）柔軟な隔離長さのマルチクラスオブジェクトの効率的かつ多様な軌道予測のための参照軌跡ベースのマルチクラストランス（RTMCT）。
CODAベンチマークの評価は、検出全体（MAPで+2.03％）および軌道予測（歩行者のMinade5で-0.408m）メトリック全体で優れたパフォーマンスを示しています。
驚くべきことに、このシステムは例外的な展開可能性を示します – エントリーレベルのNVIDIA 3060 GPUを備えた車椅子ロボットに実装された場合、13.2 fpsでリアルタイムの推論を実現します。
再現性と実用的な展開を促進するために、メソッドの関連コードをhttps://github.com/tosshero/3d_perceptionとそのROS推論バージョンでhttps://github.com/tosshero/ros_packagesでリリースします。

要約(オリジナル)

Service mobile robots are often required to avoid dynamic objects while performing their tasks, but they usually have only limited computational resources. So we present a lightweight multi-modal framework for 3D object detection and trajectory prediction. Our system synergistically integrates LiDAR and camera inputs to achieve real-time perception of pedestrians, vehicles, and riders in 3D space. The framework proposes two novel modules: 1) a Cross-Modal Deformable Transformer (CMDT) for object detection with high accuracy and acceptable amount of computation, and 2) a Reference Trajectory-based Multi-Class Transformer (RTMCT) for efficient and diverse trajectory prediction of mult-class objects with flexible trajectory lengths. Evaluations on the CODa benchmark demonstrate superior performance over existing methods across detection (+2.03% in mAP) and trajectory prediction (-0.408m in minADE5 of pedestrians) metrics. Remarkably, the system exhibits exceptional deployability – when implemented on a wheelchair robot with an entry-level NVIDIA 3060 GPU, it achieves real-time inference at 13.2 fps. To facilitate reproducibility and practical deployment, we release the related code of the method at https://github.com/TossherO/3D_Perception and its ROS inference version at https://github.com/TossherO/ros_packages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google