A CNN Based Approach for the Point-Light Photometric Stereo Problem

要約

異なる光源の下で複数の画像を使用してオブジェクトの 3D 形状を再構築することは、特に光の伝播と減衰、透視幾何学、鏡面反射などの現実的な仮定が考慮される場合、非常に困難な作業です。
Photometric Stereo (PS) の問題に取り組んでいる作品の多くは、多くの場合、前述の仮定のほとんどを緩和しています。
特に、鏡面反射とグローバル イルミネーションの効果は無視されます。
この作業では、ファー フィールド フォトメトリック ステレオ用のディープ ニューラル ネットワークの最近の改善を活用して、これらの現実的な仮定を処理できる CNN ベースのアプローチを提案し、それらをポイント ライトのセットアップに適応させます。
これは、2 つの主なステップを持つ形状推定にポイントライト PS の反復手順を採用することによって達成されます。
まず、ピクセルごとの CNN をトレーニングして、反射率サンプルから表面法線を予測します。
次に、通常のフィールドを統合して深さを計算し、光の方向と減衰を繰り返し推定します。これは、入力画像を補正して次の反復の反射率サンプルを計算するために使用されます。
私たちのアプローチは、DiLiGenT 実世界データセットの最先端技術を大幅に上回っています。
さらに、近視野点光源 PS データに対するアプローチのパフォーマンスを測定するために、異なる材料の 14 のオブジェクトの最初の実世界の「近視野点光源フォトメトリック ステレオのデータセット」である LUCES を紹介します。
点光源と遠近法による表示の効果は、はるかに重要です。
私たちのアプローチは、このデータセットでも競合他社より優れています。
データとテスト コードは、プロジェクト ページで入手できます。

要約(オリジナル)

Reconstructing the 3D shape of an object using several images under different light sources is a very challenging task, especially when realistic assumptions such as light propagation and attenuation, perspective viewing geometry and specular light reflection are considered. Many of works tackling Photometric Stereo (PS) problems often relax most of the aforementioned assumptions. Especially they ignore specular reflection and global illumination effects. In this work, we propose a CNN-based approach capable of handling these realistic assumptions by leveraging recent improvements of deep neural networks for far-field Photometric Stereo and adapt them to the point light setup. We achieve this by employing an iterative procedure of point-light PS for shape estimation which has two main steps. Firstly we train a per-pixel CNN to predict surface normals from reflectance samples. Secondly, we compute the depth by integrating the normal field in order to iteratively estimate light directions and attenuation which is used to compensate the input images to compute reflectance samples for the next iteration. Our approach sigificantly outperforms the state-of-the-art on the DiLiGenT real world dataset. Furthermore, in order to measure the performance of our approach for near-field point-light source PS data, we introduce LUCES the first real-world ‘dataset for near-fieLd point light soUrCe photomEtric Stereo’ of 14 objects of different materials were the effects of point light sources and perspective viewing are a lot more significant. Our approach also outperforms the competition on this dataset as well. Data and test code are available at the project page.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google