Towards Scalable Multi-View Reconstruction of Geometry and Materials

要約

この論文では、オブジェクトのスケールを超え、したがって固定ライトステージではキャプチャできない 3D シーンのカメラの姿勢、オブジェクトの幾何学形状、および空間的に変化する双方向反射率分布関数 (svBRDF) を共同復元するための新しい方法を提案します。
入力は、アクティブ照明用のポイント ライトを備えたモバイルのハンドヘルド キャプチャ システムによってキャプチャされた高解像度 RGB-D イメージです。
ハンドヘルドスキャナーから形状と材料を共同推定する以前の研究と比較して、既製の勾配ベースのソルバーを使用して最小化できる単一の目的関数を使用してこの問題を定式化します。
多数の観察ビューと最適化変数へのスケーラビリティを容易にするために、シーンの 2.5D キーフレームベースの表現を再構築する分散最適化アルゴリズムを導入します。
新しいマルチビュー一貫性レギュラライザーは、隣接するキーフレームを効果的に同期し、ローカル最適化の結果をグローバルに一貫した 3D モデルにシームレスに統合できるようにします。
私たちは、製剤における各成分の重要性に関する研究を提供し、私たちの方法がベースラインと比較して有利であることを示します。
さらに、私たちの方法がさまざまなオブジェクトやマテリアルを正確に再構築し、空間的により大きなシーンへの拡張が可能であることを実証します。
私たちは、この研究がハンドヘルド スキャナからの形状と材料の推定を拡張可能にするための重要な一歩であると信じています。

要約(オリジナル)

In this paper, we propose a novel method for joint recovery of camera pose, object geometry and spatially-varying Bidirectional Reflectance Distribution Function (svBRDF) of 3D scenes that exceed object-scale and hence cannot be captured with stationary light stages. The input are high-resolution RGB-D images captured by a mobile, hand-held capture system with point lights for active illumination. Compared to previous works that jointly estimate geometry and materials from a hand-held scanner, we formulate this problem using a single objective function that can be minimized using off-the-shelf gradient-based solvers. To facilitate scalability to large numbers of observation views and optimization variables, we introduce a distributed optimization algorithm that reconstructs 2.5D keyframe-based representations of the scene. A novel multi-view consistency regularizer effectively synchronizes neighboring keyframes such that the local optimization results allow for seamless integration into a globally consistent 3D model. We provide a study on the importance of each component in our formulation and show that our method compares favorably to baselines. We further demonstrate that our method accurately reconstructs various objects and materials and allows for expansion to spatially larger scenes. We believe that this work represents a significant step towards making geometry and material estimation from hand-held scanners scalable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google