MS-PS: A Multi-Scale Network for Photometric Stereo With a New Comprehensive Training Dataset

要約

フォトメトリック ステレオ (PS) の問題は、さまざまな照明方向で撮影された一連の写真のおかげで、オブジェクトの 3D 表面を再構築することにあります。
この論文では、新しいデータセットと組み合わせて最先端の結果をもたらすPSのマルチスケールアーキテクチャを提案します。
私たちが提案するアーキテクチャは柔軟です。パフォーマンスを損なうことなく、可変数の画像と可変画像サイズを考慮することができます。
さらに、一連の制約を定義して、関連する合成データセットを生成し、PS 問題の畳み込みニューラル ネットワークをトレーニングできるようにします。
私たちが提案するデータセットは、既存のものよりもはるかに大きく、異方性反射率を持つ困難な材料 (金属、ガラスなど) を持つ多くのオブジェクトが含まれています。
公開されているベンチマークで、これらの両方の貢献の組み合わせにより、以前の最先端の方法と比較して、推定された法線場の精度が大幅に向上することを示しています。

要約(オリジナル)

The photometric stereo (PS) problem consists in reconstructing the 3D-surface of an object, thanks to a set of photographs taken under different lighting directions. In this paper, we propose a multi-scale architecture for PS which, combined with a new dataset, yields state-of-the-art results. Our proposed architecture is flexible: it permits to consider a variable number of images as well as variable image size without loss of performance. In addition, we define a set of constraints to allow the generation of a relevant synthetic dataset to train convolutional neural networks for the PS problem. Our proposed dataset is much larger than pre-existing ones, and contains many objects with challenging materials having anisotropic reflectance (e.g. metals, glass). We show on publicly available benchmarks that the combination of both these contributions drastically improves the accuracy of the estimated normal field, in comparison with previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google