RMAFF-PSN: A Residual Multi-Scale Attention Feature Fusion Photometric Stereo Network

要約

フォトメトリックステレオ法を使用して複雑な構造や空間的な材質の変化がある領域の 2 次元画像から物体の正確な法線マップを予測することは、物体の幾何学形状や表面材質の変化によって引き起こされる表面反射特性の影響により困難です。
この問題に対処するために、我々は、残留マルチスケール注意特徴融合を使用してオブジェクトの「困難な」領域を処理する、RMAFF-PSN と呼ばれるフォトメトリック ステレオ ネットワークを提案します。
入力画像から深い特徴を抽出するために積み重ねられた畳み込み層のみを使用する以前のアプローチとは異なり、私たちの方法は、画像のさまざまな解像度段階とスケールからの特徴情報を統合します。
このアプローチでは、浅い深さのステージの特徴抽出、二重分岐の強化、および注意の最適化を通じて、複雑な領域のオブジェクトのテクスチャやジオメトリなど、より多くの物理情報が保存されます。
実世界の条件下でネットワーク構造をテストするために、さまざまな構造と材質を持つ複数のオブジェクトを含む、Simple PS データと呼ばれる新しい実データセットを提案します。
公開されているベンチマーク データセットでの実験結果は、特に非凸形状の物体構造の場合、同じ数の入力画像に対して、私たちの方法が既存の校正済みフォトメトリック ステレオ法よりも優れていることを示しています。
私たちの方法は、まばらな照明条件でも良好な結果が得られます。

要約(オリジナル)

Predicting accurate normal maps of objects from two-dimensional images in regions of complex structure and spatial material variations is challenging using photometric stereo methods due to the influence of surface reflection properties caused by variations in object geometry and surface materials. To address this issue, we propose a photometric stereo network called a RMAFF-PSN that uses residual multiscale attentional feature fusion to handle the “difficult” regions of the object. Unlike previous approaches that only use stacked convolutional layers to extract deep features from the input image, our method integrates feature information from different resolution stages and scales of the image. This approach preserves more physical information, such as texture and geometry of the object in complex regions, through shallow-deep stage feature extraction, double branching enhancement, and attention optimization. To test the network structure under real-world conditions, we propose a new real dataset called Simple PS data, which contains multiple objects with varying structures and materials. Experimental results on a publicly available benchmark dataset demonstrate that our method outperforms most existing calibrated photometric stereo methods for the same number of input images, especially in the case of highly non-convex object structures. Our method also obtains good results under sparse lighting conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google