要約
ミリ波 (mmWave) レーダー ポイントクラウドは、煙や低照度などの厳しい条件下でも堅牢であるため、3D センシングに魅力的な可能性をもたらします。
しかし、既存の方法では、ミリ波レーダー点群再構築における 3 つの主要な課題、つまり鏡面情報の損失、低い角度分解能、強い干渉とノイズに同時に対処できませんでした。
この論文では、信号処理と深層学習手法を 3 つの適切に設計されたコンポーネントに組み合わせて、3 つの課題すべてに取り組む新しいフレームワークである DREAM-PCD を提案します。つまり、密集点に対する非コヒーレント累積、角度分解能を向上させる合成開口累積、
ノイズと干渉を除去する Real-Denoise マルチフレーム ネットワーク。
さらに、DREAM-PCD の因果的マルチフレームと「リアルノイズ除去」メカニズムにより、汎化パフォーマンスが大幅に向上します。
また、1,000,000 フレームを超える最大のミリ波屋内データセットである RadarEyes も紹介します。これは、2 つの直交するシングルチップ レーダー、LIDAR、カメラを組み込んだ独自の設計を特徴とし、データセットの多様性とアプリケーションを強化します。
実験結果は、DREAM-PCD が再構成品質において既存の手法を上回り、優れた一般化機能とリアルタイム機能を示し、さまざまなパラメーターとシナリオの下でレーダー点群の高品質なリアルタイム再構成を可能にすることを示しています。
私たちは、DREAM-PCD と RadarEyes データセットが、将来の実世界のアプリケーションにおけるミリ波レーダーの認識を大幅に進歩させると信じています。
要約(オリジナル)
Millimeter-wave (mmWave) radar pointcloud offers attractive potential for 3D sensing, thanks to its robustness in challenging conditions such as smoke and low illumination. However, existing methods failed to simultaneously address the three main challenges in mmWave radar pointcloud reconstruction: specular information lost, low angular resolution, and strong interference and noise. In this paper, we propose DREAM-PCD, a novel framework that combines signal processing and deep learning methods into three well-designed components to tackle all three challenges: Non-Coherent Accumulation for dense points, Synthetic Aperture Accumulation for improved angular resolution, and Real-Denoise Multiframe network for noise and interference removal. Moreover, the causal multiframe and ‘real-denoise’ mechanisms in DREAM-PCD significantly enhance the generalization performance. We also introduce RadarEyes, the largest mmWave indoor dataset with over 1,000,000 frames, featuring a unique design incorporating two orthogonal single-chip radars, lidar, and camera, enriching dataset diversity and applications. Experimental results demonstrate that DREAM-PCD surpasses existing methods in reconstruction quality, and exhibits superior generalization and real-time capabilities, enabling high-quality real-time reconstruction of radar pointcloud under various parameters and scenarios. We believe that DREAM-PCD, along with the RadarEyes dataset, will significantly advance mmWave radar perception in future real-world applications.
arxiv情報
| 著者 | Ruixu Geng,Yadong Li,Dongheng Zhang,Jincheng Wu,Yating Gao,Yang Hu,Yan Chen |
| 発行日 | 2023-09-27 03:07:23+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google