nLMVS-Net: Deep Non-Lambertian Multi-View Stereo

要約

ピクセルごとの深度だけでなく、表面法線も同時に回復できる新しいマルチビュー ステレオ (MVS) メソッドを、既知の自然な照明の下でキャプチャされたテクスチャのない複雑な非ランバート サーフェスの反射率とともに紹介します。
私たちの重要なアイデアは、MVS をエンド ツー エンドの学習可能なネットワーク (nLMVS-Net と呼ぶ) として定式化することです。このネットワークは、放射測定の手がかりをシームレスに統合して、学習したコスト ボリュームの構築とフィルタリングのためのビューに依存しない表面機能として表面法線を活用します。
最初に、新しい shape-from-shading ネットワークを使用して、各ビューのピクセル単位の確率密度として表面法線を推定します。
これらのピクセルごとの表面法線密度と入力マルチビュー画像は、ピクセルごとの深度と表面法線を復元することを学習する新しいコスト ボリューム フィルタリング ネットワークに入力されます。
反射率も、ジオメトリの再構築と交互に行うことで明示的に推定されます。
新しく確立された合成および実世界のデータセットに関する広範な定量的評価は、nLMVS-Net が自然環境における複雑なオブジェクトの形状と反射率を堅牢かつ正確に回復できることを示しています。

要約(オリジナル)

We introduce a novel multi-view stereo (MVS) method that can simultaneously recover not just per-pixel depth but also surface normals, together with the reflectance of textureless, complex non-Lambertian surfaces captured under known but natural illumination. Our key idea is to formulate MVS as an end-to-end learnable network, which we refer to as nLMVS-Net, that seamlessly integrates radiometric cues to leverage surface normals as view-independent surface features for learned cost volume construction and filtering. It first estimates surface normals as pixel-wise probability densities for each view with a novel shape-from-shading network. These per-pixel surface normal densities and the input multi-view images are then input to a novel cost volume filtering network that learns to recover per-pixel depth and surface normal. The reflectance is also explicitly estimated by alternating with geometry reconstruction. Extensive quantitative evaluations on newly established synthetic and real-world datasets show that nLMVS-Net can robustly and accurately recover the shape and reflectance of complex objects in natural settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google