CaFNet: A Confidence-Driven Framework for Radar Camera Depth Estimation

要約

深度推定は、自動運転において 3D シーンを正確に解釈するために重要です。
最近、レーダーの堅牢性と低コストの特性により、レーダーカメラによる深度推定が非常に注目されるようになりました。
そこで、このペーパーでは、RGB 画像とまばらでノイズの多いレーダー点群データを組み合わせて、高密度深度推定を行うための 2 段階のエンドツーエンドでトレーニング可能な Confidence-aware Fusion Net (CaFNet) を紹介します。
最初のステージでは、レーダー信頼性マップと予備的な粗い深度マップを予測することで、あいまいな高度やノイズの多い測定値などのレーダー固有の課題に対処します。
信頼度マップのグランド トゥルースを生成するための新しいアプローチが提示されます。これには、各レーダー ポイントを対応するオブジェクトと関連付けて、潜在的な投影面を特定することが含まれます。
これらのマップは、最初のレーダー入力とともに 2 番目のエンコーダーによって処理されます。
最終的な深度推定では、レーダーと画像の特徴を効果的に統合するための信頼性を考慮したゲート フュージョン メカニズムを革新し、レーダー ノイズを除去することで深度マップの信頼性を高めます。
nuScenes データセットで評価された私たちの方法論は優れたパフォーマンスを示し、現在の主要モデルよりも平均絶対誤差 (MAE) で 3.2%、二乗平均平方根誤差 (RMSE) で 2.7% 向上しました。
コード: https://github.com/harborsarah/CaFNet

要約(オリジナル)

Depth estimation is critical in autonomous driving for interpreting 3D scenes accurately. Recently, radar-camera depth estimation has become of sufficient interest due to the robustness and low-cost properties of radar. Thus, this paper introduces a two-stage, end-to-end trainable Confidence-aware Fusion Net (CaFNet) for dense depth estimation, combining RGB imagery with sparse and noisy radar point cloud data. The first stage addresses radar-specific challenges, such as ambiguous elevation and noisy measurements, by predicting a radar confidence map and a preliminary coarse depth map. A novel approach is presented for generating the ground truth for the confidence map, which involves associating each radar point with its corresponding object to identify potential projection surfaces. These maps, together with the initial radar input, are processed by a second encoder. For the final depth estimation, we innovate a confidence-aware gated fusion mechanism to integrate radar and image features effectively, thereby enhancing the reliability of the depth map by filtering out radar noise. Our methodology, evaluated on the nuScenes dataset, demonstrates superior performance, improving upon the current leading model by 3.2% in Mean Absolute Error (MAE) and 2.7% in Root Mean Square Error (RMSE). Code: https://github.com/harborsarah/CaFNet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google