RaCalNet: Radar Calibration Network for Sparse-Supervised Metric Depth Estimation

要約

ミリ波レーダーを使用した高密度のメートリック深度推定には、通常、マルチフレームの投影と補間によって生成される密なLIDAR監督が必要であり、まばらなレーダー測定とRGB画像からの正確な深さの学習を導く必要があります。
ただし、このパラダイムは費用がかかり、データ集約的です。
これに対処するために、Racalnetを提案します。これは、スパースライダーを使用して洗練されたレーダー測定の学習を監督することにより、密集した監督の必要性を排除する新しいフレームワークであり、その結果、密集した方法と比較して監督密度が約1％しかありません。
レーダーポイントを幅広い画像領域に関連付け、密なラベルに大きく依存している以前のアプローチとは異なり、RacalNetはまず、まばらなレーダーポイントを再調整および改良して、正確な深さプライアーを構築します。
これらのプライアーは、単眼の深さ予測を導く信頼できるアンカーとして機能し、密集した監督に頼ることなくメトリックスケールの推定を可能にします。
この設計により、構造的な一貫性が向上し、詳細が保存されます。
まばらな監督のみに依存しているにもかかわらず、RacalNetは最先端の密集した方法を上回り、透明なオブジェクトの輪郭ときめ細かいテクスチャを備えた深度マップを作成します。
ZJU-4dradarcamデータセットと現実世界の展開シナリオに関する広範な実験は、その有効性を示し、RMSEをそれぞれ35.30％と34.89％削減します。

要約(オリジナル)

Dense metric depth estimation using millimeter-wave radar typically requires dense LiDAR supervision, generated via multi-frame projection and interpolation, to guide the learning of accurate depth from sparse radar measurements and RGB images. However, this paradigm is both costly and data-intensive. To address this, we propose RaCalNet, a novel framework that eliminates the need for dense supervision by using sparse LiDAR to supervise the learning of refined radar measurements, resulting in a supervision density of merely around 1% compared to dense-supervised methods. Unlike previous approaches that associate radar points with broad image regions and rely heavily on dense labels, RaCalNet first recalibrates and refines sparse radar points to construct accurate depth priors. These priors then serve as reliable anchors to guide monocular depth prediction, enabling metric-scale estimation without resorting to dense supervision. This design improves structural consistency and preserves fine details. Despite relying solely on sparse supervision, RaCalNet surpasses state-of-the-art dense-supervised methods, producing depth maps with clear object contours and fine-grained textures. Extensive experiments on the ZJU-4DRadarCam dataset and real-world deployment scenarios demonstrate its effectiveness, reducing RMSE by 35.30% and 34.89%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google