SteeredMarigold: Steering Diffusion Towards Depth Completion of Largely Incomplete Depth Maps

要約

実際の環境に配置された RGB-D センサーによってキャプチャされた深度マップは、多くの場合、有効な深度測定値が欠落している広い領域によって特徴付けられますが、大多数の深度補完方法は依然としてシーンのすべての領域をカバーする深度値を前提としています。
この制限に対処するために、大部分が不完全な深度マップであっても、メトリクスの高密度深度を生成できる、トレーニング不要のゼロショット深度補完メソッドである SteeredMarigold を導入します。
SteeredMarigold は、利用可能なまばらな深度ポイントを条件としてノイズ除去拡散確率モデルを操作することでこれを実現します。
私たちの手法は、広い領域に深度が提供されていないテストにおいて、NYUv2 データセットで関連する最高パフォーマンスの手法を上回っており、最先端のパフォーマンスを達成し、深度マップの不完全性に対して顕著な堅牢性を示しています。
私たちのコードは公開される予定です。

要約(オリジナル)

Even if the depth maps captured by RGB-D sensors deployed in real environments are often characterized by large areas missing valid depth measurements, the vast majority of depth completion methods still assumes depth values covering all areas of the scene. To address this limitation, we introduce SteeredMarigold, a training-free, zero-shot depth completion method capable of producing metric dense depth, even for largely incomplete depth maps. SteeredMarigold achieves this by using the available sparse depth points as conditions to steer a denoising diffusion probabilistic model. Our method outperforms relevant top-performing methods on the NYUv2 dataset, in tests where no depth was provided for a large area, achieving state-of-art performance and exhibiting remarkable robustness against depth map incompleteness. Our code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google