Adaptive Surface Normal Constraint for Geometric Estimation from Monocular Images

要約

幾何学的コンテキストを組み込みながら、画像から深度や表面法線などの幾何学を学習する新しいアプローチを紹介します。
既存の方法では幾何学的コンテキストを確実に捕捉することが難しいため、異なる幾何学的特性間の一貫性を正確に実現する能力が妨げられ、その結果、幾何学的推定品質のボトルネックが生じます。
したがって、我々は、シンプルでありながら効率的な方法である Adaptive Surface Normal (ASN) 制約を提案します。
私たちのアプローチは、入力画像に存在する幾何学的変化をコード化する幾何学的コンテキストを抽出し、深度推定を幾何学的制約と関連付けます。
ランダムにサンプリングされた候補から信頼できるローカル ジオメトリを動的に決定することで、表面法線制約を確立し、これらの候補の妥当性が幾何学的コンテキストを使用して評価されます。
さらに、法線推定では幾何学的コンテキストを活用して、幾何学的に大きな変化を示す領域を優先するため、予測された法線は複雑で詳細な幾何学的情報を正確に捕捉します。
幾何学的コンテキストの統合を通じて、私たちの方法は、一貫したフレームワーク内で深さと表面法線の推定を統合し、画像から高品質の 3D ジオメトリを生成できるようにします。
私たちは、屋内および屋外の多様なデータセットに対する広範な評価と比較を通じて、最先端の手法に対する私たちのアプローチの優位性を検証し、その効率性と堅牢性を実証します。

要約(オリジナル)

We introduce a novel approach to learn geometries such as depth and surface normal from images while incorporating geometric context. The difficulty of reliably capturing geometric context in existing methods impedes their ability to accurately enforce the consistency between the different geometric properties, thereby leading to a bottleneck of geometric estimation quality. We therefore propose the Adaptive Surface Normal (ASN) constraint, a simple yet efficient method. Our approach extracts geometric context that encodes the geometric variations present in the input image and correlates depth estimation with geometric constraints. By dynamically determining reliable local geometry from randomly sampled candidates, we establish a surface normal constraint, where the validity of these candidates is evaluated using the geometric context. Furthermore, our normal estimation leverages the geometric context to prioritize regions that exhibit significant geometric variations, which makes the predicted normals accurately capture intricate and detailed geometric information. Through the integration of geometric context, our method unifies depth and surface normal estimations within a cohesive framework, which enables the generation of high-quality 3D geometry from images. We validate the superiority of our approach over state-of-the-art methods through extensive evaluations and comparisons on diverse indoor and outdoor datasets, showcasing its efficiency and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google