SS-SfP:Neural Inverse Rendering for Self Supervised Shape from (Mixed) Polarization

要約

我々は、単視点偏光画像からオブジェクトとシーンの 3D 形状 (ピクセルごとの表面法線と深さ) を推定するための新しい逆レンダリング ベースのフレームワークを提案します。この問題は、Shape from Polarization (SfP) として広く知られています。
SfP の既存の物理ベースおよび学習ベースの方法は、特定の制限の下で実行されます。つまり、(a) 純粋な拡散反射または純粋な鏡面反射は、実際の表面ではめったに存在しません。(b) 直接監視のためのグラウンド トゥルース表面法線が利用可能です。
取得が難しく、スキャナの解像度、および (c) 既知の屈折率によって制限されます。
これらの制限を克服するには、修正された偏光反射モデルに基づいて、反射率キューと呼ばれる部分偏光の拡散成分と鏡面反射成分を分離する方法を学習することから始め、次に、逆レンダリング ベースの自己教師ありモデルを通じて混合偏光下での形状を推定します。
SS-SfP と呼ばれる深層学習フレームワークは、偏光データと推定反射率キューによって導かれます。
さらに、非線形最小二乗解として屈折率も取得します。
広範な定量的および定性的評価を通じて、完全に自己監視された設定で、DeepSfP データセットからの単純な単一オブジェクト シーンと SPW データセットからの複雑な野外シーンに対する提案されたフレームワークの有効性を確立します。
私たちの知る限り、これは、完全に自己監視されたフレームワークで混合二極化の下で SfP に対処する最初の学習ベースのアプローチです。

要約(オリジナル)

We present a novel inverse rendering-based framework to estimate the 3D shape (per-pixel surface normals and depth) of objects and scenes from single-view polarization images, the problem popularly known as Shape from Polarization (SfP). The existing physics-based and learning-based methods for SfP perform under certain restrictions, i.e., (a) purely diffuse or purely specular reflections, which are seldom in the real surfaces, (b) availability of the ground truth surface normals for direct supervision that are hard to acquire and are limited by the scanner’s resolution, and (c) known refractive index. To overcome these restrictions, we start by learning to separate the partially-polarized diffuse and specular reflection components, which we call reflectance cues, based on a modified polarization reflection model and then estimate shape under mixed polarization through an inverse-rendering based self-supervised deep learning framework called SS-SfP, guided by the polarization data and estimated reflectance cues. Furthermore, we also obtain the refractive index as a non-linear least squares solution. Through extensive quantitative and qualitative evaluation, we establish the efficacy of the proposed framework over simple single-object scenes from DeepSfP dataset and complex in-the-wild scenes from SPW dataset in an entirely self-supervised setting. To the best of our knowledge, this is the first learning-based approach to address SfP under mixed polarization in a completely self-supervised framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google