NeuralMPS: Non-Lambertian Multispectral Photometric Stereo via Spectral Reflectance Decomposition

要約

マルチスペクトル フォトメトリック ステレオ (MPS) は、マルチスペクトル照明下でキャプチャされたシングル ショット マルチスペクトル画像からシーンの表面法線を回復することを目的としています。
既存の MPS メソッドは、問題を扱いやすくするためにランバート反射モデルを採用していますが、実際の表面への適用は大幅に制限されています。
この論文では、NeuralMPS という名前のディープ ニューラル ネットワークを提案して、一般的な非ランバート スペクトル反射率の下で MPS 問題を解決します。
具体的には、スペクトル反射率を幾何学的成分とスペクトル成分に分解するためのスペクトル反射率分解（SRD）モデルを提示します。
この分解により、一様な物質をもつ表面のMPS問題が、未知の光強度をもつ従来の測光ステレオ(CPS)と等価であることを示した。
このように、NeuralMPS は、十分に研究された非ランバート CPS 手法を活用することで、非ランバート MPS 問題の難しさを軽減します。
合成シーンと現実世界の両方のシーンでの実験は、私たちの方法の有効性を示しています。

要約(オリジナル)

Multispectral photometric stereo(MPS) aims at recovering the surface normal of a scene from a single-shot multispectral image captured under multispectral illuminations. Existing MPS methods adopt the Lambertian reflectance model to make the problem tractable, but it greatly limits their application to real-world surfaces. In this paper, we propose a deep neural network named NeuralMPS to solve the MPS problem under general non-Lambertian spectral reflectances. Specifically, we present a spectral reflectance decomposition(SRD) model to disentangle the spectral reflectance into geometric components and spectral components. With this decomposition, we show that the MPS problem for surfaces with a uniform material is equivalent to the conventional photometric stereo(CPS) with unknown light intensities. In this way, NeuralMPS reduces the difficulty of the non-Lambertian MPS problem by leveraging the well-studied non-Lambertian CPS methods. Experiments on both synthetic and real-world scenes demonstrate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google