IronDepth: Iterative Refinement of Single-View Depth using Surface Normal and its Uncertainty

要約

単一画像の表面法線推定と奥行き推定は、前者が後者から計算できるため、密接に関連した問題である。しかし、深度推定法の出力から計算される表面法線は、ネットワークによって直接推定される表面法線より著しく精度が低い。このような不一致を減らすために、我々は表面法線とその不確実性を用いて、予測された深度マップを再帰的に改良する新しいフレームワークを導入する。各画素の深さは、予測された表面法線を指針として、クエリ画素に伝搬させることができる。このように、深度洗練は、伝搬する近傍画素を選択する分類として定式化される。そして、サブピクセル点への伝搬により、洗練された低解像度の出力をアップサンプリングする。提案手法は、NYUv2およびiBims-1において、深度および法線の両面で、最先端の性能を示す。また、既存の奥行き推定手法に本手法を適用し、その精度を向上させることも可能である。また、深さ推定のためにのみ学習された我々のフレームワークが、深さ補完のためにも使用できることを示す。コードは https://github.com/baegwangbin/IronDepth で公開されています。

要約(オリジナル)

Single image surface normal estimation and depth estimation are closely related problems as the former can be calculated from the latter. However, the surface normals computed from the output of depth estimation methods are significantly less accurate than the surface normals directly estimated by networks. To reduce such discrepancy, we introduce a novel framework that uses surface normal and its uncertainty to recurrently refine the predicted depth-map. The depth of each pixel can be propagated to a query pixel, using the predicted surface normal as guidance. We thus formulate depth refinement as a classification of choosing the neighboring pixel to propagate from. Then, by propagating to sub-pixel points, we upsample the refined, low-resolution output. The proposed method shows state-of-the-art performance on NYUv2 and iBims-1 – both in terms of depth and normal. Our refinement module can also be attached to the existing depth estimation methods to improve their accuracy. We also show that our framework, only trained for depth estimation, can also be used for depth completion. The code is available at https://github.com/baegwangbin/IronDepth.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL