Sparse Beats Dense: Rethinking Supervision in Radar-Camera Depth Completion

要約

深度完了の分野では、疎な監視は密な監視よりも悪いと広く信じられていますが、この根本的な理由についてはほとんど議論されていません。
この目的を達成するために、レーダーとカメラの深度補完のタスクを再検討し、精度と速度の両方で以前の高密度 LiDAR 監視方法を上回る、スパース LiDAR 監視を備えた新しい方法を提案します。
具体的には、スパース LiDAR 監視によってトレーニングされた場合、深度補完モデルは通常、顕著な縞模様のアーティファクトを含む深度マップを出力します。
このような現象は、この論文では LiDAR Distribution Leakage (LDL) と呼ばれる、まばらな LiDAR 監視から暗黙的に学習された位置分布パターンによって引き起こされることがわかりました。
このような理解に基づいて、この問題に対処するための新しい中断補償レーダーカメラ深度補完フレームワークを提案します。
中断部分は、まばらな監視による LiDAR 配信の学習を意図的に中断することを目的とし、補償部分は、3D 空間および 2D セマンティック情報を活用して、以前の中断による情報損失を補償することを目的としています。
広範な実験結果は、LDL の影響を軽減することにより、スパース監視を備えた当社のフレームワークが、平均絶対誤差 (MAE) で 11.6% 改善し、1 秒あたりのフレーム数で 1.6 倍の高速化を実現し、最先端の高密度監視手法を上回っていることを示しています。
FPS)}。
コードは https://github.com/megvii-research/Sparse-Beats-Dense で入手できます。

要約(オリジナル)

It is widely believed that sparse supervision is worse than dense supervision in the field of depth completion, but the underlying reasons for this are rarely discussed. To this end, we revisit the task of radar-camera depth completion and present a new method with sparse LiDAR supervision to outperform previous dense LiDAR supervision methods in both accuracy and speed. Specifically, when trained by sparse LiDAR supervision, depth completion models usually output depth maps containing significant stripe-like artifacts. We find that such a phenomenon is caused by the implicitly learned positional distribution pattern from sparse LiDAR supervision, termed as LiDAR Distribution Leakage (LDL) in this paper. Based on such understanding, we present a novel Disruption-Compensation radar-camera depth completion framework to address this issue. The Disruption part aims to deliberately disrupt the learning of LiDAR distribution from sparse supervision, while the Compensation part aims to leverage 3D spatial and 2D semantic information to compensate for the information loss of previous disruptions. Extensive experimental results demonstrate that by reducing the impact of LDL, our framework with sparse supervision outperforms the state-of-the-art dense supervision methods with 11.6% improvement in Mean Absolute Error (MAE)} and 1.6x speedup in Frame Per Second (FPS)}. The code is available at https://github.com/megvii-research/Sparse-Beats-Dense.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google