Sparse Beats Dense: Rethinking Supervision in Radar-Camera Depth Completion

要約

深度補完の分野では、密な監視が疎な監視よりも優れていると広く信じられていますが、その根本的な理由についてはほとんど議論されていません。
この論文では、レーダー カメラ深度予測モデルのトレーニングにスパース監視を使用する際の課題は、投影変換崩壊 (PTC) であることがわかりました。
PTC は、監視がまばらなため、モデルが画像/レーダー/LiDAR 空間間の予期しない崩壊投影変換を学習することを示唆しています。
この洞察に基づいて、我々は PTC を処理するための新しい「中断補償」フレームワークを提案し、それによって深度完了タスクにおけるスパース監視の使用を再認識します。
破壊部分は画像/レーダー/LiDAR 間の位置対応を意図的に破棄し、補償部分は 3D 空間および 2D セマンティック情報を利用して、破棄された有益な位置対応を補償します。
広範な実験結果は、私たちのフレームワーク (疎な監視) が最新技術 (密な監視) よりも優れており、平均絶対誤差が 11.6$\%$ 向上し、1.6 \times$ 高速化できることを示しています。
コードは以下から入手できます…

要約(オリジナル)

It is widely believed that the dense supervision is better than the sparse supervision in the field of depth completion, but the underlying reasons for this are rarely discussed. In this paper, we find that the challenge of using sparse supervision for training Radar-Camera depth prediction models is the Projection Transformation Collapse (PTC). The PTC implies that sparse supervision leads the model to learn unexpected collapsed projection transformations between Image/Radar/LiDAR spaces. Building on this insight, we propose a novel “Disruption-Compensation’ framework to handle the PTC, thereby relighting the use of sparse supervision in depth completion tasks. The disruption part deliberately discards position correspondences among Image/Radar/LiDAR, while the compensation part leverages 3D spatial and 2D semantic information to compensate for the discarded beneficial position correspondence. Extensive experimental results demonstrate that our framework (sparse supervision) outperforms the state-of-the-art (dense supervision) with 11.6$\%$ improvement in mean absolute error and $1.6 \times$ speedup. The code is available at …

arxiv情報

提供元, 利用サービス

arxiv.jp, Google