Depth Anything with Any Prior

要約

このワークは、以前の深さを提示します。これは、不完全であるが正確なメトリック情報を深さの測定で、相対的であるが完全な幾何学的構造を深さの予測で組み合わせ、あらゆるシーンの正確で密な、詳細なメトリック深度マップを生成します。
この目的のために、2つの補完的な深度ソースを徐々に統合するために、粗からファインのパイプラインを設計します。
まず、深さ予測を明示的に使用することにより、多様なメトリックプライアーを事前に充填するために、ピクセルレベルのメトリックアラインメントと距離認識の重み付けを導入します。
事前のパターン間のドメインギャップを効果的に狭め、さまざまなシナリオ全体で一般化を強化します。
第二に、条件付けされた単眼深度推定（MDE）モデルを開発して、深さ前の固有のノイズを改良します。
事前に充填された正規化された事前と予測を条件付けすることにより、このモデルはさらに2つの補完的な深度源を暗黙的にマージします。
私たちのモデルは、深さ完了、超解像度、および7つの現実世界のデータセットを照合して、以前のタスク固有の方法を一致させる、またはそれを上回る印象的なゼロショットの一般化を紹介します。
さらに重要なことは、それは挑戦的で目に見えない混合前の事前にうまく機能し、予測モデルを切り替えることでテスト時間の改善を可能にし、MDEモデルの進歩とともに進化しながら柔軟な精度効率のトレードオフを提供することです。

要約(オリジナル)

This work presents Prior Depth Anything, a framework that combines incomplete but precise metric information in depth measurement with relative but complete geometric structures in depth prediction, generating accurate, dense, and detailed metric depth maps for any scene. To this end, we design a coarse-to-fine pipeline to progressively integrate the two complementary depth sources. First, we introduce pixel-level metric alignment and distance-aware weighting to pre-fill diverse metric priors by explicitly using depth prediction. It effectively narrows the domain gap between prior patterns, enhancing generalization across varying scenarios. Second, we develop a conditioned monocular depth estimation (MDE) model to refine the inherent noise of depth priors. By conditioning on the normalized pre-filled prior and prediction, the model further implicitly merges the two complementary depth sources. Our model showcases impressive zero-shot generalization across depth completion, super-resolution, and inpainting over 7 real-world datasets, matching or even surpassing previous task-specific methods. More importantly, it performs well on challenging, unseen mixed priors and enables test-time improvements by switching prediction models, providing a flexible accuracy-efficiency trade-off while evolving with advancements in MDE models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google