要約
普及している LiDAR およびカメラ システムを補完するミリ波 (mmWave) レーダーは、霧、暴風雨、吹雪などの悪天候に対して堅牢ですが、まばらな点群を提供します。
現在の技術は、LiDAR データの監視によって点群を強化します。
ただし、高性能 LiDAR は非常に高価であり、一般的に車両には搭載されていません。
この論文では、低コストのカメラと慣性測定ユニット (IMU) を使用してレーダー点群を強化し、商用車からのトレーニング データのクラウドソーシングを可能にする教師あり学習アプローチである mmEMP について説明します。
動的オブジェクトは空間に依存しないため、視覚慣性 (VI) 監視を導入することは困難です。
さらに、RF マルチパスの呪いによる偽のレーダー ポイントにより、ロボットは現場を誤解します。
mmEMP はまず、動的特徴の 3D 位置を復元する動的 3D 再構成アルゴリズムを考案します。
次に、レーダー データを高密度化し、偽のレーダー ポイントを排除するニューラル ネットワークを設計します。
現実世界に新しいデータセットを構築します。
広範な実験により、mmEMP は LiDAR のデータによる SOTA アプローチのトレーニングと比較して競争力のあるパフォーマンスを達成することが示されています。
さらに、強化された点群を使用して物体の検出、位置特定、マッピングを実行し、mmEMP の有効性を実証します。
要約(オリジナル)
Complementary to prevalent LiDAR and camera systems, millimeter-wave (mmWave) radar is robust to adverse weather conditions like fog, rainstorms, and blizzards but offers sparse point clouds. Current techniques enhance the point cloud by the supervision of LiDAR’s data. However, high-performance LiDAR is notably expensive and is not commonly available on vehicles. This paper presents mmEMP, a supervised learning approach that enhances radar point clouds using a low-cost camera and an inertial measurement unit (IMU), enabling crowdsourcing training data from commercial vehicles. Bringing the visual-inertial (VI) supervision is challenging due to the spatial agnostic of dynamic objects. Moreover, spurious radar points from the curse of RF multipath make robots misunderstand the scene. mmEMP first devises a dynamic 3D reconstruction algorithm that restores the 3D positions of dynamic features. Then, we design a neural network that densifies radar data and eliminates spurious radar points. We build a new dataset in the real world. Extensive experiments show that mmEMP achieves competitive performance compared with the SOTA approach training by LiDAR’s data. In addition, we use the enhanced point cloud to perform object detection, localization, and mapping to demonstrate mmEMP’s effectiveness.
arxiv情報
| 著者 | Cong Fan,Shengkai Zhang,Kezhong Liu,Shuai Wang,Zheng Yang,Wei Wang |
| 発行日 | 2024-04-26 08:00:55+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google