Revisiting Deformable Convolution for Depth Completion

要約

疎な深度マップから高品質な密な深度マップを生成することを目的とした深度補完は、近年ますます注目を集めている。これまでの研究では、通常RGB画像をガイダンスとして用い、推定された粗い深度マップを洗練するために反復的な空間伝搬を導入している。しかし、ほとんどの伝播精緻化手法は、数回の反復を必要とし、固定された受容野に悩まされる。本論文では、変形可能な畳み込みのアイデアを再検討することで、これら2つの課題に同時に取り組む。変形可能なカーネル畳み込みをシングルパス洗練モジュールとして活用する効果的なアーキテクチャを提案し、その優位性を実証的に示す。変形可能な畳み込みの機能をより良く理解し、深さ補完に利用するために、我々はさらに様々な代表的な戦略を系統的に調査する。我々の研究により、先行研究とは異なり、変形可能な畳み込みは、より良い性能のために、比較的高密度の推定深度マップに適用される必要があることが明らかになった。大規模なKITTIデータセットで我々のモデルを評価し、精度と推論速度の両方で最先端レベルの性能を達成した。我々のコードはhttps://github.com/AlexSunNik/ReDC。

要約(オリジナル)

Depth completion, which aims to generate high-quality dense depth maps from sparse depth maps, has attracted increasing attention in recent years. Previous work usually employs RGB images as guidance, and introduces iterative spatial propagation to refine estimated coarse depth maps. However, most of the propagation refinement methods require several iterations and suffer from a fixed receptive field, which may contain irrelevant and useless information with very sparse input. In this paper, we address these two challenges simultaneously by revisiting the idea of deformable convolution. We propose an effective architecture that leverages deformable kernel convolution as a single-pass refinement module, and empirically demonstrate its superiority. To better understand the function of deformable convolution and exploit it for depth completion, we further systematically investigate a variety of representative strategies. Our study reveals that, different from prior work, deformable convolution needs to be applied on an estimated depth map with a relatively high density for better performance. We evaluate our model on the large-scale KITTI dataset and achieve state-of-the-art level performance in both accuracy and inference speed. Our code is available at https://github.com/AlexSunNik/ReDC.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL