GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs

要約

画像誘導深度補完は、ロボット工学から自動運転まで幅広い用途を持つ、位置合わせされたカラー画像を使用して、まばらな深度測定からピクセルごとの密な深度マップを復元することを目的としています。
ただし、疎から密への深度補完の 3D の性質は、以前の方法では十分に調査されていません。
この作業では、深度補完の一般的なアプローチとして、グラフ畳み込みベースの空間伝搬ネットワーク (GraphCSPN) を提案します。
まず、以前の方法とは異なり、畳み込みニューラル ネットワークとグラフ ニューラル ネットワークを補完的な方法で幾何学的表現の学習に活用します。
さらに、提案されたネットワークは、2 次元平面ではなく 3 次元空間で実行される伝播プロセスを正則化するために、学習可能な幾何学的制約を明示的に組み込みます。
さらに、フィーチャ パッチのシーケンスを利用してグラフを構築し、伝播中にエッジ アテンション モジュールで動的に更新して、ローカルの隣接フィーチャと長距離にわたるグローバルな関係の両方をより適切にキャプチャします。
屋内の NYU-Depth-v2 と屋外の KITTI データセットの両方での広範な実験は、特にいくつかの伝播ステップのみを使用した場合に比較した場合に、この方法が最先端のパフォーマンスを達成することを示しています。
コードとモデルは、プロジェクト ページで入手できます。

要約(オリジナル)

Image guided depth completion aims to recover per-pixel dense depth maps from sparse depth measurements with the help of aligned color images, which has a wide range of applications from robotics to autonomous driving. However, the 3D nature of sparse-to-dense depth completion has not been fully explored by previous methods. In this work, we propose a Graph Convolution based Spatial Propagation Network (GraphCSPN) as a general approach for depth completion. First, unlike previous methods, we leverage convolution neural networks as well as graph neural networks in a complementary way for geometric representation learning. In addition, the proposed networks explicitly incorporate learnable geometric constraints to regularize the propagation process performed in three-dimensional space rather than in two-dimensional plane. Furthermore, we construct the graph utilizing sequences of feature patches, and update it dynamically with an edge attention module during propagation, so as to better capture both the local neighboring features and global relationships over long distance. Extensive experiments on both indoor NYU-Depth-v2 and outdoor KITTI datasets demonstrate that our method achieves the state-of-the-art performance, especially when compared in the case of using only a few propagation steps. Code and models are available at the project page.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google