Learning Photometric Feature Transform for Free-form Object Scan

要約

我々は、複数の非構造化ビューからの測光測定値を集約して、空間的に特徴的でビューに不変な低レベルの特徴に変換する方法を自動的に学習する新しいフレームワークを提案します。これらの特徴は、3D 再構築を強化するためにマルチビュー ステレオ法に供給されます。
取得中の照明条件と特徴変換は、大量の合成データに基づいて共同でトレーニングされます。
さらに、手持ちスキャンからさまざまな困難な物体の形状と異方性反射率を再構築するシステムを構築します。
このシステムの有効性は、カメラと LED アレイ、および既製のタブレットで構成される軽量のプロトタイプを使用して実証されます。
私たちの結果は、プロの 3D スキャナーと写真からの再構成に対して検証されており、最先端の技術と比較しても遜色ありません。

要約(オリジナル)

We propose a novel framework to automatically learn to aggregate and transform photometric measurements from multiple unstructured views into spatially distinctive and view-invariant low-level features, which are fed to a multi-view stereo method to enhance 3D reconstruction. The illumination conditions during acquisition and the feature transform are jointly trained on a large amount of synthetic data. We further build a system to reconstruct the geometry and anisotropic reflectance of a variety of challenging objects from hand-held scans. The effectiveness of the system is demonstrated with a lightweight prototype, consisting of a camera and an array of LEDs, as well as an off-the-shelf tablet. Our results are validated against reconstructions from a professional 3D scanner and photographs, and compare favorably with state-of-the-art techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google