Surface Normal Reconstruction Using Polarization-Unet

要約

今日、物体の 3 次元再構成はさまざまな分野で多くの応用がなされており、そのため、高解像度の 3 次元再構成に適した方法を選択することが重要な問題であり、この分野では 3 次元モデルの高レベルの詳細を表示することが重大な課題となっています。
分野。
これまで、高解像度の三次元再構成にはアクティブな手法が使用されてきました。
しかし、アクティブ 3 次元再構成法の問題は、オブジェクトの近くに光源が必要であることです。
Shape from Polarization (SfP) は、物体の高解像度の 3 次元再構成に最適なソリューションの 1 つであり、パッシブな方法であり、アクティブな方法の欠点がありません。
物体からの反射光の偏光の変化は、偏光カメラを使用するか、デジタル カメラの前に偏光フィルターを配置してフィルターを回転させることによって分析できます。
この情報を使用すると、表面法線を高精度で再構築でき、表面詳細の局所的な再構築につながります。
この論文では、オブジェクトの表面法線を生成するためのエンドツーエンドの深層学習アプローチが提示されました。
この方法では、ベンチマーク データセットを使用してニューラル ネットワークをトレーニングし、結果を評価しました。
結果は、他の方法および異なる照明条件下で定量的および定性的に評価されました。
MAE 値 (Mean-Angular-Error) が結果の評価に使用されています。
評価の結果、提案された方法は、データセット全体で 18.06 度に等しい最低 MAE 値を持つオブジェクトの表面法線を、以前の物理ベースの方法 (41.44 ～ 49.03 度の間) と比較して、正確に再構築できることが示されました。

要約(オリジナル)

Today, three-dimensional reconstruction of objects has many applications in various fields, and therefore, choosing a suitable method for high resolution three-dimensional reconstruction is an important issue and displaying high-level details in three-dimensional models is a serious challenge in this field. Until now, active methods have been used for high-resolution three-dimensional reconstruction. But the problem of active three-dimensional reconstruction methods is that they require a light source close to the object. Shape from polarization (SfP) is one of the best solutions for high-resolution three-dimensional reconstruction of objects, which is a passive method and does not have the drawbacks of active methods. The changes in polarization of the reflected light from an object can be analyzed by using a polarization camera or locating polarizing filter in front of the digital camera and rotating the filter. Using this information, the surface normal can be reconstructed with high accuracy, which will lead to local reconstruction of the surface details. In this paper, an end-to-end deep learning approach has been presented to produce the surface normal of objects. In this method a benchmark dataset has been used to train the neural network and evaluate the results. The results have been evaluated quantitatively and qualitatively by other methods and under different lighting conditions. The MAE value (Mean-Angular-Error) has been used for results evaluation. The evaluations showed that the proposed method could accurately reconstruct the surface normal of objects with the lowest MAE value which is equal to 18.06 degree on the whole dataset, in comparison to previous physics-based methods which are between 41.44 and 49.03 degree.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google