Progressive Depth Decoupling and Modulating for Flexible Depth Completion

要約

画像ガイドによる深度補完は、まばらな LiDAR データと RGB 画像から高密度の深度マップを生成することを目的としています。
最近の手法は、深さの離散化と確率予測という 2 つのサブタスクを伴う分類問題として再定式化することにより、有望なパフォーマンスを示しています。
これらは、深度範囲を深度カテゴリとしていくつかの離散的な深度値に分割し、シーンの深度分布の事前分布として機能します。
ただし、以前の深度離散化手法は、さまざまなシーンにわたる深度分布の変動の影響を受けやすく、その結果、シーンの深度分布事前分布が最適化されていません。
上記の問題に対処するために、我々は、深度範囲をビンに段階的に分離し、複数の段階でマルチスケールの高密度深度マップを適応的に生成する、プログレッシブ深度デカップリングおよび変調ネットワークを提案します。
具体的には、最初にビン初期化モジュール (BIM) を設計し、疎な深度マップ内の深度分布情報を探索し、深度分布の変動を適応させることによってシード ビンを構築します。
次に、深度分布情報をグローバルからローカルまで段階的に改良するために、増分深度デカップリング ブランチを考案します。
一方、適応深度変調ブランチは、粗粒度から粒度の細かい確率表現に段階的に改善するために開発されています。
そして、これら２つのブランチ（サブタスク）間の情報インタラクションを強化し、各ブランチにおける情報補完を促進するために、双方向の情報インタラクションを提案する。
さらに、潜在特徴の深さ分布情報を学習し、さまざまなシーンにわたる適応能力を強化するためのマルチスケール監視メカニズムを導入します。
公開データセットでの実験結果は、私たちの方法が最先端の方法よりも優れていることを示しています。
コードは [この https URL](https://github.com/Cisse-away/PDDM) でオープンソース化されます。

要約(オリジナル)

Image-guided depth completion aims at generating a dense depth map from sparse LiDAR data and RGB image. Recent methods have shown promising performance by reformulating it as a classification problem with two sub-tasks: depth discretization and probability prediction. They divide the depth range into several discrete depth values as depth categories, serving as priors for scene depth distributions. However, previous depth discretization methods are easy to be impacted by depth distribution variations across different scenes, resulting in suboptimal scene depth distribution priors. To address the above problem, we propose a progressive depth decoupling and modulating network, which incrementally decouples the depth range into bins and adaptively generates multi-scale dense depth maps in multiple stages. Specifically, we first design a Bins Initializing Module (BIM) to construct the seed bins by exploring the depth distribution information within a sparse depth map, adapting variations of depth distribution. Then, we devise an incremental depth decoupling branch to progressively refine the depth distribution information from global to local. Meanwhile, an adaptive depth modulating branch is developed to progressively improve the probability representation from coarse-grained to fine-grained. And the bi-directional information interactions are proposed to strengthen the information interaction between those two branches (sub-tasks) for promoting information complementation in each branch. Further, we introduce a multi-scale supervision mechanism to learn the depth distribution information in latent features and enhance the adaptation capability across different scenes. Experimental results on public datasets demonstrate that our method outperforms the state-of-the-art methods. The code will be open-sourced at [this https URL](https://github.com/Cisse-away/PDDM).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google