NeIF: Representing General Reflectance as Neural Intrinsics Fields for Uncalibrated Photometric Stereo

要約

キャリブレーションされていないフォトメトリック ステレオ (UPS) は、未知の光によってもたらされる固有のあいまいさのために困難です。
既存のソリューションは、反射率を光条件に明示的に関連付けるか、監視された方法で光条件を解決することにより、あいまいさを軽減します。
この論文では、光の手がかりと光の推定との間の暗黙の関係を確立し、教師なしで UPS を解きます。
重要なアイデアは、反射率を 4 つの神経内因性フィールド、すなわち、位置、光、鏡面反射、および影として表すことです。これに基づいて、ニューラル ライト フィールドは鏡面反射率の光の手がかりと暗黙的に関連付けられ、影を落とします。
ニューラル組み込みフィールドの教師なし共同最適化は、トレーニング データのバイアスや累積エラーから解放され、UPS の観測されたすべてのピクセル値を十分に活用できます。
私たちの方法は、定期的で困難な設定の下で、公開および自己収集されたデータセットで最先端の UPS 方法よりも優れたパフォーマンス上の利点を達成します。
コードは近日公開予定です。

要約(オリジナル)

Uncalibrated photometric stereo (UPS) is challenging due to the inherent ambiguity brought by unknown light. Existing solutions alleviate the ambiguity by either explicitly associating reflectance to light conditions or resolving light conditions in a supervised manner. This paper establishes an implicit relation between light clues and light estimation and solves UPS in an unsupervised manner. The key idea is to represent the reflectance as four neural intrinsics fields, \ie, position, light, specular, and shadow, based on which the neural light field is implicitly associated with light clues of specular reflectance and cast shadow. The unsupervised, joint optimization of neural intrinsics fields can be free from training data bias as well as accumulating error, and fully exploits all observed pixel values for UPS. Our method achieves a superior performance advantage over state-of-the-art UPS methods on public and self-collected datasets, under regular and challenging setups. The code will be released soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google