LRRU: Long-short Range Recurrent Updating Networks for Depth Completion

要約

既存の深層学習ベースの深度補完手法は一般に、大規模な積層レイヤーを使用して、疎な入力データから高密度の深度マップを予測します。
このようなアプローチはこのタスクを大幅に進歩させますが、それに伴う膨大な計算の複雑さが実際の応用を妨げます。
深さの補完をより効率的に行うために、私たちは、新しい軽量の深層ネットワーク フレームワークである Long-short Range Recurrent Updating (LRRU) ネットワークを提案します。
複雑な特徴表現を学習することなく、LRRU はまずスパース入力を大まかに埋めて初期の密な深度マップを取得し、次に学習された空間的に変化するカーネルを通じてそれを繰り返し更新します。
当社の反復更新プロセスはコンテンツ適応型で柔軟性が高く、更新されるガイダンス RGB 画像と深度マップを共同で考慮することによってカーネルの重みが学習され、大規模から小規模のカーネル スコープが動的に調整され、長期にわたる画像をキャプチャします。
短距離依存関係。
私たちの初期の深度マップには、粗いながらも完全なシーン深度情報が含まれており、疎な深度から密な深度を直接回帰する負担を軽減するのに役立ちます。一方、私たちが提案する方法は、より少ない学習パラメータと推論時間で正確な深度マップに効果的に精製できます。
実験結果は、私たちが提案する LRRU バリアントがさまざまなパラメーター領域にわたって最先端のパフォーマンスを達成することを示しています。
特に、LRRU-Base モデルは、NYUv2 データセット上で競合するアプローチよりも優れたパフォーマンスを示し、提出時点で KITTI 深度補完ベンチマークで 1 位にランクされています。
プロジェクトページ: https://npucvr.github.io/LRRU/。

要約(オリジナル)

Existing deep learning-based depth completion methods generally employ massive stacked layers to predict the dense depth map from sparse input data. Although such approaches greatly advance this task, their accompanied huge computational complexity hinders their practical applications. To accomplish depth completion more efficiently, we propose a novel lightweight deep network framework, the Long-short Range Recurrent Updating (LRRU) network. Without learning complex feature representations, LRRU first roughly fills the sparse input to obtain an initial dense depth map, and then iteratively updates it through learned spatially-variant kernels. Our iterative update process is content-adaptive and highly flexible, where the kernel weights are learned by jointly considering the guidance RGB images and the depth map to be updated, and large-to-small kernel scopes are dynamically adjusted to capture long-to-short range dependencies. Our initial depth map has coarse but complete scene depth information, which helps relieve the burden of directly regressing the dense depth from sparse ones, while our proposed method can effectively refine it to an accurate depth map with less learnable parameters and inference time. Experimental results demonstrate that our proposed LRRU variants achieve state-of-the-art performance across different parameter regimes. In particular, the LRRU-Base model outperforms competing approaches on the NYUv2 dataset, and ranks 1st on the KITTI depth completion benchmark at the time of submission. Project page: https://npucvr.github.io/LRRU/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google