DeepPS2: Revisiting Photometric Stereo Using Two Differently Illuminated Images

要約

異なる照明下でキャプチャされたオブジェクトの画像を使用して 3D サーフェス法線を復元する問題であるフォトメトリック ステレオは、コンピューター ビジョンの研究において大きな関心と重要性を持っています。
既存の従来の深層学習ベースの方法の成功にもかかわらず、(i) 3 つ以上の異なる照明画像の要件、(ii) 未知の一般反射率をモデル化できない、および (iii) 要件のために、依然として困難です。
トレーニング用の正確な 3D グラウンド トゥルース サーフェス法線と既知の照明情報。
この作業では、PS2 問題と呼ばれる、照明の異なる 2 つの画像だけを使用して、測光ステレオの未調査の問題に対処しようとします。
これは、シェイプ フロム シェーディング (SfS) のような単一の画像ベースの再構成方法と、3 つ以上の画像を必要とする従来のフォトメトリック ステレオ (PS) の中間的なケースです。
DeepPS2 と呼ばれる逆レンダリング ベースの深層学習フレームワークを提案します。このフレームワークは、グラウンド トゥルース データを必要とせずに、完全に自己管理された方法で表面法線、アルベド、ライティング推定、およびイメージ リライティングを共同で実行します。
画像再構成と組み合わせた画像の再照明が、自己監視設定での照明推定をどのように強化するかを示します。

要約(オリジナル)

Photometric stereo, a problem of recovering 3D surface normals using images of an object captured under different lightings, has been of great interest and importance in computer vision research. Despite the success of existing traditional and deep learning-based methods, it is still challenging due to: (i) the requirement of three or more differently illuminated images, (ii) the inability to model unknown general reflectance, and (iii) the requirement of accurate 3D ground truth surface normals and known lighting information for training. In this work, we attempt to address an under-explored problem of photometric stereo using just two differently illuminated images, referred to as the PS2 problem. It is an intermediate case between a single image-based reconstruction method like Shape from Shading (SfS) and the traditional Photometric Stereo (PS), which requires three or more images. We propose an inverse rendering-based deep learning framework, called DeepPS2, that jointly performs surface normal, albedo, lighting estimation, and image relighting in a completely self-supervised manner with no requirement of ground truth data. We demonstrate how image relighting in conjunction with image reconstruction enhances the lighting estimation in a self-supervised setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google