Deep Learning Methods for Calibrated Photometric Stereo and Beyond: A Survey

要約

フォトメトリック ステレオは、さまざまなシェーディング キューを使用して複数の画像からオブジェクトの表面法線を復元します。つまり、表面の向きと各ピクセルの強度との関係をモデル化します。
フォトメトリック ステレオは、優れたピクセル単位の解像度と細かい再構成の詳細で優勢です。
ただし、非ランバート表面反射率によって引き起こされる非線形関係のため、これは複雑な問題です。
最近、さまざまな深層学習手法が、非ランバート サーフェスに対するフォトメトリック ステレオのコンテキストで強力な能力を示しています。
このホワイト ペーパーでは、既存の深層学習ベースのキャリブレーションされたフォトメトリック ステレオ法の包括的なレビューを提供します。
まず、入力処理、監視、ネットワーク アーキテクチャなど、さまざまな観点からこれらの方法を分析します。
最も広く使用されているベンチマーク データ セットでのディープ ラーニング フォトメトリック ステレオ モデルのパフォーマンスをまとめます。
これは、深層学習ベースのフォトメトリック ステレオ法の高度なパフォーマンスを示しています。
最後に、既存のモデルの限界に基づいて提案を行い、将来の研究動向を提案します。

要約(オリジナル)

Photometric stereo recovers the surface normals of an object from multiple images with varying shading cues, i.e., modeling the relationship between surface orientation and intensity at each pixel. Photometric stereo prevails in superior per-pixel resolution and fine reconstruction details. However, it is a complicated problem because of the non-linear relationship caused by non-Lambertian surface reflectance. Recently, various deep learning methods have shown a powerful ability in the context of photometric stereo against non-Lambertian surfaces. This paper provides a comprehensive review of existing deep learning-based calibrated photometric stereo methods. We first analyze these methods from different perspectives, including input processing, supervision, and network architecture. We summarize the performance of deep learning photometric stereo models on the most widely-used benchmark data set. This demonstrates the advanced performance of deep learning-based photometric stereo methods. Finally, we give suggestions and propose future research trends based on the limitations of existing models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google