UAV Tracking with Lidar as a Camera Sensors in GNSS-Denied Environments

要約

LiDAR は、高精度の状況認識のためのロボット工学および自律システムの主要なセンサーの 1 つになりました。
近年、マルチモーダル LiDAR システムが登場しました。その中で、LiDAR-as-a-camera センサーは、3D 点群だけでなく、深度、反射率、または近接のいずれかをエンコードすることにより、固定解像度の 360{\deg} パノラマ画像も提供します。
-画像ピクセルの赤外線。
これにより、LiDAR 自体の可能性に加えて、コンピューター ビジョン機能がもたらされる可能性があります。
このホワイト ペーパーでは、LiDAR および LiDAR で生成された画像を利用して無人航空機 (UAV) をリアルタイムで追跡することに特に関心を持っています。
これは、私たちの知る限りでは、単一の LiDAR センサーによって生成された画像と点群を融合して、アプリオリに既知の初期化位置なしで UAV を追跡する可能性を探る最初の研究です。
MOCAP システムを使用して屋内実験場で収集されたパノラマ画像に基づいて、UAV を検出するためのカスタム YOLOv5 モデルをトレーニングしました。
ポイント クラウドと統合することで、UAV の位置を継続的に提供できます。
私たちの実験は、点群または画像のみに基づく方法と比較して、提案された UAV 追跡アプローチの有効性を実証しました。
さらに、人気のあるモバイル コンピューティング プラットフォームである Nvidia Jetson Nano でのアプローチのリアルタイム パフォーマンスを評価しました。

要約(オリジナル)

LiDAR has become one of the primary sensors in robotics and autonomous system for high-accuracy situational awareness. In recent years, multi-modal LiDAR systems emerged, and among them, LiDAR-as-a-camera sensors provide not only 3D point clouds but also fixed-resolution 360{\deg}panoramic images by encoding either depth, reflectivity, or near-infrared light in the image pixels. This potentially brings computer vision capabilities on top of the potential of LiDAR itself. In this paper, we are specifically interested in utilizing LiDARs and LiDAR-generated images for tracking Unmanned Aerial Vehicles (UAVs) in real-time which can benefit applications including docking, remote identification, or counter-UAV systems, among others. This is, to the best of our knowledge, the first work that explores the possibility of fusing the images and point cloud generated by a single LiDAR sensor to track a UAV without a priori known initialized position. We trained a custom YOLOv5 model for detecting UAVs based on the panoramic images collected in an indoor experiment arena with a MOCAP system. By integrating with the point cloud, we are able to continuously provide the position of the UAV. Our experiment demonstrated the effectiveness of the proposed UAV tracking approach compared with methods based only on point clouds or images. Additionally, we evaluated the real-time performance of our approach on the Nvidia Jetson Nano, a popular mobile computing platform.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google