DeepShaRM: Multi-View Shape and Reflectance Map Recovery Under Unknown Lighting

要約

未知の自然照明下 (つまり、野生下) でテクスチャのない非ランバートオブジェクトの幾何学形状を再構成することは、対応関係を確立できず、反射率を単純な解析形式で表現できないため、依然として困難です。
私たちは、この困難なタスクに対して最先端の精度を達成する、新しいマルチビュー手法 DeepShaRM を導き出しました。
これを逆レンダリング、つまり画像からの反射率、照明、ジオメトリの推定として定式化するこれまでの方法とは異なり、私たちの重要なアイデアは、反射率と照明を分離する必要はなく、代わりに複合反射率マップとして推定する必要があることを認識することです。
現在のジオメトリ推定の表面法線と入力マルチビュー画像からカメラビュー反射率マップを復元する、新しいディープ反射率マップ推定ネットワークを紹介します。
また、ネットワークは、グローバルな光輸送効果を処理するために、ピクセルごとの信頼スコアを明示的に推定します。
次に、ディープシェイプフロムシェーディングネットワークが、復元された反射率マップを使用して、符号付き距離関数で表されるジオメトリ推定を更新します。
これら 2 つを交互に行うことにより、そして最も重要なことに、反射率と照明分解という不適切な問題を回避することにより、この方法はこれらの困難な設定でオブジェクトのジオメトリを正確に復元します。
合成データと現実世界のデータの両方に対する広範な実験により、その最先端の精度が明確に実証されました。

要約(オリジナル)

Geometry reconstruction of textureless, non-Lambertian objects under unknown natural illumination (i.e., in the wild) remains challenging as correspondences cannot be established and the reflectance cannot be expressed in simple analytical forms. We derive a novel multi-view method, DeepShaRM, that achieves state-of-the-art accuracy on this challenging task. Unlike past methods that formulate this as inverse-rendering, i.e., estimation of reflectance, illumination, and geometry from images, our key idea is to realize that reflectance and illumination need not be disentangled and instead estimated as a compound reflectance map. We introduce a novel deep reflectance map estimation network that recovers the camera-view reflectance maps from the surface normals of the current geometry estimate and the input multi-view images. The network also explicitly estimates per-pixel confidence scores to handle global light transport effects. A deep shape-from-shading network then updates the geometry estimate expressed with a signed distance function using the recovered reflectance maps. By alternating between these two, and, most important, by bypassing the ill-posed problem of reflectance and illumination decomposition, the method accurately recovers object geometry in these challenging settings. Extensive experiments on both synthetic and real-world data clearly demonstrate its state-of-the-art accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google