Depth-aware Fusion Method based on Image and 4D Radar Spectrum for 3D Object Detection

要約

安全性と信頼性は、自律運転を一般に受け入れるために重要です。
正確で信頼できる環境認識を確保するために、インテリジェントな車両は、さまざまな環境で正確さと堅牢性を示さなければなりません。
高い浸透能力で知られるミリ波レーダーは、雨、雪、霧などの有害な気象条件で効果的に動作する可能性があります。
従来の3Dミリ波レーダーは、オブジェクトの範囲、ドップラー、および方位角情報のみを提供できます。
4Dミリ波レーダーの最近の出現により標高解像度が追加されましたが、レーダーポイントクラウドは、一定の誤報速度（CFAR）操作のためにまばらなままです。
対照的に、カメラは豊富なセマンティックの詳細を提供しますが、照明や気象条件に敏感です。
したがって、このペーパーでは、これら2つの非常に補完的で費用対効果の高いセンサー、4Dミリ波レーダーとカメラを活用しています。
4Dレーダースペクトルを深さにアウェアカメラの画像と統合し、注意メカニズムを使用することにより、鳥瞰図（BEV）の視点でテクスチャリッチ画像と深さが豊富なレーダーデータを融合し、3Dオブジェクトの検出を強化します。
さらに、GANベースのネットワークを使用して、深度センサーがない場合にレーダースペクトルから深度画像を生成し、検出精度をさらに向上させることを提案します。

要約(オリジナル)

Safety and reliability are crucial for the public acceptance of autonomous driving. To ensure accurate and reliable environmental perception, intelligent vehicles must exhibit accuracy and robustness in various environments. Millimeter-wave radar, known for its high penetration capability, can operate effectively in adverse weather conditions such as rain, snow, and fog. Traditional 3D millimeter-wave radars can only provide range, Doppler, and azimuth information for objects. Although the recent emergence of 4D millimeter-wave radars has added elevation resolution, the radar point clouds remain sparse due to Constant False Alarm Rate (CFAR) operations. In contrast, cameras offer rich semantic details but are sensitive to lighting and weather conditions. Hence, this paper leverages these two highly complementary and cost-effective sensors, 4D millimeter-wave radar and camera. By integrating 4D radar spectra with depth-aware camera images and employing attention mechanisms, we fuse texture-rich images with depth-rich radar data in the Bird’s Eye View (BEV) perspective, enhancing 3D object detection. Additionally, we propose using GAN-based networks to generate depth images from radar spectra in the absence of depth sensors, further improving detection accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google