Towards Domain-agnostic Depth Completion

要約

既存の深さ補完方法は、多くの場合、特定の疎な深さタイプを対象にしており、タスク ドメイン全体にあまり一般化できません。
最新の携帯電話に搭載されているものを含むさまざまな距離センサーや、マルチビュー再構成アルゴリズムによって取得された、疎/半密、ノイズの多い、潜在的に低解像度の深度マップを完成させる方法を紹介します。
私たちの方法では、大規模なデータセットでトレーニングされた単一画像深度予測ネットワークの形式でデータ駆動型事前予測を活用し、その出力がモデルへの入力として使用されます。
典型的なタスク領域でさまざまなスパースパターンをシミュレートする効果的なトレーニングスキームを提案します。
さらに、深さ補完方法の一般化可能性と堅牢性を評価するために 2 つの新しいベンチマークを設計します。
私たちのシンプルな方法は、最先端の深度補完方法に対して優れたクロスドメイン汎化能力を示し、モバイルデバイスで高品質の深度キャプチャに対する実用的なソリューションを導入します。
コードは https://github.com/Yvanying/FillDepth から入手できます。

要約(オリジナル)

Existing depth completion methods are often targeted at a specific sparse depth type and generalize poorly across task domains. We present a method to complete sparse/semi-dense, noisy, and potentially low-resolution depth maps obtained by various range sensors, including those in modern mobile phones, or by multi-view reconstruction algorithms. Our method leverages a data-driven prior in the form of a single image depth prediction network trained on large-scale datasets, the output of which is used as an input to our model. We propose an effective training scheme where we simulate various sparsity patterns in typical task domains. In addition, we design two new benchmarks to evaluate the generalizability and the robustness of depth completion methods. Our simple method shows superior cross-domain generalization ability against state-of-the-art depth completion methods, introducing a practical solution to high-quality depth capture on a mobile device. The code is available at: https://github.com/YvanYin/FillDepth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google