Differentiable Display Photometric Stereo

要約

フォトメトリック ステレオは、照明条件の変化を利用して、ピクセルごとの表面法線を再構成します。
従来のモニターを照明源として使用するディスプレイ測光ステレオの概念には、かさばって使いにくい従来のセットアップでよく遭遇する制限を克服する可能性があります。
この論文では、既製のモニターとカメラを使用して高忠実度の法線再構成を実現するように設計された手法である、微分可能表示測光ステレオ (DDPS) を紹介します。
DDPS は、フォトメトリック ステレオにおける重要でありながら無視されがちな課題、つまり法線再構成を強化するための表示パターンの最適化に対処します。
我々は、基礎照明画像形成とフォトメトリックステレオ再構成法を組み合わせた微分可能なフレームワークを提案します。
これにより、表示パターンの学習が容易になり、自動微分による高品質な正常再構成が可能になります。
エンドツーエンドの最適化に固有の合成領域と実領域のギャップに対処するために、3D プリントされたオブジェクトで構成される現実世界の測光ステレオ トレーニング データセットの使用を提案します。
さらに、フォトメトリックステレオの不適切な姿勢の性質を軽減するために、モニターから放射される直線偏光を利用して、キャプチャされた画像内の拡散反射と鏡面反射を光学的に分離します。
DDPS がターゲット構成に最適化された表示パターンの学習を可能にし、初期化に対して堅牢であることを実証します。
私たちは、グラウンドトゥルース法線と現実世界の多様なオブジェクトを使用して 3D プリントされたオブジェクトの DDPS を評価し、DDPS が効果的な測光ステレオ再構成を可能にすることを検証します。

要約(オリジナル)

Photometric stereo leverages variations in illumination conditions to reconstruct per-pixel surface normals. The concept of display photometric stereo, which employs a conventional monitor as an illumination source, has the potential to overcome limitations often encountered in bulky and difficult-to-use conventional setups. In this paper, we introduce Differentiable Display Photometric Stereo (DDPS), a method designed to achieve high-fidelity normal reconstruction using an off-the-shelf monitor and camera. DDPS addresses a critical yet often neglected challenge in photometric stereo: the optimization of display patterns for enhanced normal reconstruction. We present a differentiable framework that couples basis-illumination image formation with a photometric-stereo reconstruction method. This facilitates the learning of display patterns that leads to high-quality normal reconstruction through automatic differentiation. Addressing the synthetic-real domain gap inherent in end-to-end optimization, we propose the use of a real-world photometric-stereo training dataset composed of 3D-printed objects. Moreover, to reduce the ill-posed nature of photometric stereo, we exploit the linearly polarized light emitted from the monitor to optically separate diffuse and specular reflections in the captured images. We demonstrate that DDPS allows for learning display patterns optimized for a target configuration and is robust to initialization. We assess DDPS on 3D-printed objects with ground-truth normals and diverse real-world objects, validating that DDPS enables effective photometric-stereo reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google