OGNI-DC: Robust Depth Completion with Optimization-Guided Neural Iterations

要約

深度補完は、画像と疎な深度マップを入力として与えられて、密な深度マップを生成するタスクです。
さまざまな下流タスクに重要な用途があります。
この論文では、深度補完のための新しいフレームワークである OGNI-DC を紹介します。
私たちの手法の鍵となるのは、「Optimization-Guided Neural Iterations」(OGNI) です。
これは、深度勾配フィールドを洗練する反復ユニットと、深度勾配を深度マップに統合する微分可能な深度積分器で構成されます。
OGNI-DC は強力な一般化を示し、未確認のデータセットやさまざまなスパース レベルにわたってベースラインを大幅に上回ります。
さらに、OGNI-DC は精度が高く、NYUv2 および KITTI ベンチマークで最先端のパフォーマンスを実現します。
コードは https://github.com/princeton-vl/OGNI-DC で入手できます。

要約(オリジナル)

Depth completion is the task of generating a dense depth map given an image and a sparse depth map as inputs. It has important applications in various downstream tasks. In this paper, we present OGNI-DC, a novel framework for depth completion. The key to our method is ‘Optimization-Guided Neural Iterations’ (OGNI). It consists of a recurrent unit that refines a depth gradient field and a differentiable depth integrator that integrates the depth gradients into a depth map. OGNI-DC exhibits strong generalization, outperforming baselines by a large margin on unseen datasets and across various sparsity levels. Moreover, OGNI-DC has high accuracy, achieving state-of-the-art performance on the NYUv2 and the KITTI benchmarks. Code is available at https://github.com/princeton-vl/OGNI-DC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google