Polarimetric Inverse Rendering for Transparent Shapes Reconstruction

要約

この作業では、偏光手がかりを活用することにより、透明なオブジェクトの詳細な再構成のための新しい方法を提案します。
既存の方法のほとんどは、通常、十分な制約がなく、過度に滑らかになるという問題があります。
したがって、補完的な手がかりとして分極情報を導入します。
オブジェクトのジオメトリをニューラル ネットワークとして暗黙的に表しますが、偏光レンダーは、指定された形状と照明構成からオブジェクトの偏光イメージをレンダリングできます。
レンダリングされた偏光画像を実際にキャプチャされた画像と直接比較すると、透明なオブジェクトの透過により追加のエラーが発生します。
この問題に対処するために、反射成分の割合を表す反射率の概念が導入されました。
反射率はレイ トレーサーによって計算され、偏光損失の重み付けに使用されます。
私たちの方法を検証するために、マルチビューの透明な形状再構成用の偏光データセットを構築します。
実験結果は、私たちの方法が詳細な形状を復元し、透明なオブジェクトの再構成品質を改善できることを示しています。
データセットとコードは、https://github.com/shaomq2187/TransPIR で公開されます。

要約(オリジナル)

In this work, we propose a novel method for the detailed reconstruction of transparent objects by exploiting polarimetric cues. Most of the existing methods usually lack sufficient constraints and suffer from the over-smooth problem. Hence, we introduce polarization information as a complementary cue. We implicitly represent the object’s geometry as a neural network, while the polarization render is capable of rendering the object’s polarization images from the given shape and illumination configuration. Direct comparison of the rendered polarization images to the real-world captured images will have additional errors due to the transmission in the transparent object. To address this issue, the concept of reflection percentage which represents the proportion of the reflection component is introduced. The reflection percentage is calculated by a ray tracer and then used for weighting the polarization loss. We build a polarization dataset for multi-view transparent shapes reconstruction to verify our method. The experimental results show that our method is capable of recovering detailed shapes and improving the reconstruction quality of transparent objects. Our dataset and code will be publicly available at https://github.com/shaomq2187/TransPIR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google