UAV Tracking with Lidar as a Camera Sensors in GNSS-Denied Environments

要約

LiDAR は、高精度の状況認識を実現するロボット工学および自律システムにおける主要なセンサーの 1 つとなっています。
近年、マルチモーダルな LiDAR システムが登場し、その中でカメラとしての LiDAR センサーは、3D 点群だけでなく、深度、反射率、または近傍のいずれかをエンコードすることにより、固定解像度の 360{\deg} パノラマ画像も提供します。
-画像ピクセル内の赤外線。
これにより、LiDAR 自体の潜在能力に加えてコンピューター ビジョン機能がもたらされる可能性があります。
このペーパーでは、特にドッキング、遠隔識別、対 UAV システムなどのアプリケーションに利益をもたらす、無人航空機 (UAV) をリアルタイムで追跡するための LiDAR および LiDAR で生成された画像の利用に興味を持っています。
これは、私たちの知る限り、単一の LiDAR センサーによって生成された画像と点群を融合して、事前に既知の初期化位置なしで UAV を追跡する可能性を探った最初の研究です。
MOCAP システムを備えた屋内実験場で収集されたパノラマ画像に基づいて、UAV を検出するためのカスタム YOLOv5 モデルをトレーニングしました。
点群と統合することで、UAV の位置を継続的に提供することができます。
私たちの実験は、点群または画像のみに基づく方法と比較して、提案された UAV 追跡アプローチの有効性を実証しました。
さらに、人気のあるモバイル コンピューティング プラットフォームである Nvidia Jetson Nano でのアプローチのリアルタイム パフォーマンスを評価しました。

要約(オリジナル)

LiDAR has become one of the primary sensors in robotics and autonomous system for high-accuracy situational awareness. In recent years, multi-modal LiDAR systems emerged, and among them, LiDAR-as-a-camera sensors provide not only 3D point clouds but also fixed-resolution 360{\deg}panoramic images by encoding either depth, reflectivity, or near-infrared light in the image pixels. This potentially brings computer vision capabilities on top of the potential of LiDAR itself. In this paper, we are specifically interested in utilizing LiDARs and LiDAR-generated images for tracking Unmanned Aerial Vehicles (UAVs) in real-time which can benefit applications including docking, remote identification, or counter-UAV systems, among others. This is, to the best of our knowledge, the first work that explores the possibility of fusing the images and point cloud generated by a single LiDAR sensor to track a UAV without a priori known initialized position. We trained a custom YOLOv5 model for detecting UAVs based on the panoramic images collected in an indoor experiment arena with a MOCAP system. By integrating with the point cloud, we are able to continuously provide the position of the UAV. Our experiment demonstrated the effectiveness of the proposed UAV tracking approach compared with methods based only on point clouds or images. Additionally, we evaluated the real-time performance of our approach on the Nvidia Jetson Nano, a popular mobile computing platform.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google