DeepPS2: Revisiting Photometric Stereo Using Two Differently Illuminated Images

要約

フォトメトリックステレオは、異なる照明の下で撮影された物体の画像を用いて3D表面法線を復元する問題であり、コンピュータビジョンの研究において大きな関心と重要性を持っている。既存の伝統的な手法やディープラーニングに基づく手法の成功にもかかわらず、以下の理由により、依然として困難である。(i) 3枚以上の異なる照明の画像が必要であること、(ii) 未知の一般的な反射率をモデル化できないこと、(iii) 学習のために正確な3Dグランドトゥルース表面法線と既知の照明情報が必要であること、などです。この研究では、PS2問題と呼ばれる、たった2枚の異なる照明画像を用いたフォトメトリックステレオの未解明な問題に取り組むことを試みる。これは、Shape from Shading (SfS) のような単一画像ベースの再構成手法と、3枚以上の画像を必要とする従来のPhotometric Stereo (PS) の間の中間的なケースである。我々はDeepPS2と呼ばれる逆レンダリングに基づく深層学習フレームワークを提案し、グラウンドトゥルースデータを必要とせず、完全に自己教師付きで表面法線、アルベド、照明推定、および画像リライトを共同で実行する。我々は、画像再構成と連動した画像再照明が、自己教師あり設定での照明推定をどのように強化するかを実証する。

要約(オリジナル)

Photometric stereo, a problem of recovering 3D surface normals using images of an object captured under different lightings, has been of great interest and importance in computer vision research. Despite the success of existing traditional and deep learning-based methods, it is still challenging due to: (i) the requirement of three or more differently illuminated images, (ii) the inability to model unknown general reflectance, and (iii) the requirement of accurate 3D ground truth surface normals and known lighting information for training. In this work, we attempt to address an under-explored problem of photometric stereo using just two differently illuminated images, referred to as the PS2 problem. It is an intermediate case between a single image-based reconstruction method like Shape from Shading (SfS) and the traditional Photometric Stereo (PS), which requires three or more images. We propose an inverse rendering-based deep learning framework, called DeepPS2, that jointly performs surface normal, albedo, lighting estimation, and image relighting in a completely self-supervised manner with no requirement of ground truth data. We demonstrate how image relighting in conjunction with image reconstruction enhances the lighting estimation in a self-supervised setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL