One at A Time: Multi-step Volumetric Probability Distribution Diffusion for Depth Estimation

要約

最近の研究では、マルチビュー ステレオ (MVS) およびセマンティック シーン補完 (SSC) における奥行き推定の基本的な役割が調査されています。
一般に、3D コスト ボリュームを構築して幾何学的対応を深く調査し、グラウンド トゥルース近似に直接依存して 1 ステップでそのようなボリュームを推定します。
ただし、このような問題は、複雑な経験的分布のため、特にオクルージョンや反射などの難しい領域では、1 つのステップで完全に処理することはできません。この論文では、深度推定タスクを多ステップの分布近似プロセスとして定式化し、次の関数を導入します。
拡散モデル (VPDD) を使用したマルコフ連鎖に従って、体積確率分布を段階的に (段階的に) モデリングする新しいパラダイム。
具体的には、VPDD でのボリュームのマルチステップ生成を制限するために、メタ ボリューム ガイダンスと信頼性を意識したコンテキスト ガイダンスを条件付きジオメトリの事前分布として構築し、分布近似を容易にします。
サンプリング プロセスでは、安定したトレーニングのためにボリューム表現の一貫性を維持するためのオンライン フィルタリング戦略をさらに調査します。
実験では、当社のプラグアンドプレイ VPDD が MVS および SSC のタスクに関して最先端のパフォーマンスを上回っており、さまざまなベースラインに簡単に拡張して改善できることが実証されています。
私たちが SemanticKITTI データセット上で LiDAR ベースの手法を超える最初のカメラベースの研究であることは言及する価値があります。

要約(オリジナル)

Recent works have explored the fundamental role of depth estimation in multi-view stereo (MVS) and semantic scene completion (SSC). They generally construct 3D cost volumes to explore geometric correspondence in depth, and estimate such volumes in a single step relying directly on the ground truth approximation. However, such problem cannot be thoroughly handled in one step due to complex empirical distributions, especially in challenging regions like occlusions, reflections, etc. In this paper, we formulate the depth estimation task as a multi-step distribution approximation process, and introduce a new paradigm of modeling the Volumetric Probability Distribution progressively (step-by-step) following a Markov chain with Diffusion models (VPDD). Specifically, to constrain the multi-step generation of volume in VPDD, we construct a meta volume guidance and a confidence-aware contextual guidance as conditional geometry priors to facilitate the distribution approximation. For the sampling process, we further investigate an online filtering strategy to maintain consistency in volume representations for stable training. Experiments demonstrate that our plug-and-play VPDD outperforms the state-of-the-arts for tasks of MVS and SSC, and can also be easily extended to different baselines to get improvement. It is worth mentioning that we are the first camera-based work that surpasses LiDAR-based methods on the SemanticKITTI dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google