WildLight: In-the-wild Inverse Rendering with a Flashlight

要約

この論文では、未知の周囲光の下での野生の逆レンダリングの困難な問題に対する実用的な測光ソリューションを提案します。
私たちのシステムは、スマートフォンでキャプチャされた多視点画像のみを使用して、シーンのジオメトリと反射率を復元します。
重要なアイデアは、最小限に制御された光源としてスマートフォンの内蔵懐中電灯を活用し、画像強度を 2 つの測光成分に分解することです。静的な外観は周囲光束に対応し、さらに移動する懐中電灯によって引き起こされる動的反射に対応します。
この方法では、フラッシュ/非フラッシュ画像をペアでキャプチャする必要はありません。
ニューラル ライト フィールドの成功に基づいて、既製の方法を使用して周囲の反射をキャプチャし、懐中電灯コンポーネントを使用して物理的に正確な測光制約を有効にし、反射率と照明を分離します。
既存の逆レンダリング方法と比較して、私たちのセットアップは非暗室環境に適用できますが、周囲の反射を明示的に解決する固有の問題を回避します。
私たちの方法が実装が簡単で、設定が簡単で、既存のインバース レンダリング技術よりも一貫して優れていることを広範な実験によって実証します。
最後に、ニューラル再構築は、産業用レンダラーの準備が整った PBR テクスチャ付き三角形メッシュに簡単にエクスポートできます。

要約(オリジナル)

This paper proposes a practical photometric solution for the challenging problem of in-the-wild inverse rendering under unknown ambient lighting. Our system recovers scene geometry and reflectance using only multi-view images captured by a smartphone. The key idea is to exploit smartphone’s built-in flashlight as a minimally controlled light source, and decompose image intensities into two photometric components — a static appearance corresponds to ambient flux, plus a dynamic reflection induced by the moving flashlight. Our method does not require flash/non-flash images to be captured in pairs. Building on the success of neural light fields, we use an off-the-shelf method to capture the ambient reflections, while the flashlight component enables physically accurate photometric constraints to decouple reflectance and illumination. Compared to existing inverse rendering methods, our setup is applicable to non-darkroom environments yet sidesteps the inherent difficulties of explicit solving ambient reflections. We demonstrate by extensive experiments that our method is easy to implement, casual to set up, and consistently outperforms existing in-the-wild inverse rendering techniques. Finally, our neural reconstruction can be easily exported to PBR textured triangle mesh ready for industrial renderers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google