NeISF++: Neural Incident Stokes Field for Polarized Inverse Rendering of Conductors and Dielectrics

要約

最近の逆レンダリング手法では、偏光キューを利用することで形状、材質、照明の再構築が大幅に改善されました。
ただし、既存の方法では誘電体のみがサポートされており、生活のあらゆる場所に存在する導体は無視されています。
導体と誘電体は反射特性が異なるため、以前の導体法を使用すると明らかなエラーが発生します。
さらに、導体は光沢があるため、強い鏡面反射が発生する可能性があり、再構築が困難です。
上記の問題を解決するために、導体と誘電体をサポートする逆レンダリング パイプラインである NeISF++ を提案します。
私たちの提案の重要な要素は、導体と誘電体の両方を記述する一般的な pBRDF です。
強い鏡面反射の問題に関しては、DoLP 画像を使用した新しいジオメトリ初期化方法を提案します。
この物理的な手がかりは強度に対して不変であるため、強い鏡面反射に対して堅牢です。
合成データセットと実際のデータセットの実験結果は、私たちの方法が、ジオメトリやマテリアルの分解、さらには再照明などの下流タスクに関して、既存の偏極逆レンダリング方法を超えていることを示しています。

要約(オリジナル)

Recent inverse rendering methods have greatly improved shape, material, and illumination reconstruction by utilizing polarization cues. However, existing methods only support dielectrics, ignoring conductors that are found everywhere in life. Since conductors and dielectrics have different reflection properties, using previous conductor methods will lead to obvious errors. In addition, conductors are glossy, which may cause strong specular reflection and is hard to reconstruct. To solve the above issues, we propose NeISF++, an inverse rendering pipeline that supports conductors and dielectrics. The key ingredient for our proposal is a general pBRDF that describes both conductors and dielectrics. As for the strong specular reflection problem, we propose a novel geometry initialization method using DoLP images. This physical cue is invariant to intensities and thus robust to strong specular reflections. Experimental results on our synthetic and real datasets show that our method surpasses the existing polarized inverse rendering methods for geometry and material decomposition as well as downstream tasks like relighting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google