Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion

要約

単一の画像からオブジェクトのジオメトリとマテリアルを復元することは、制約が不十分であるため困難です。
この論文では、2D 拡散事前分布からの補助的な多重照明条件を活用することで固有の推定を強化する新しいフレームワークである Neural LightRig を紹介します。
具体的には、1) まず大規模拡散モデルからの照明事前分布を利用して、専用設計の合成再照明データセット上にマルチライト拡散モデルを構築します。
この拡散モデルは、複数の一貫した画像を生成し、それぞれが異なる方向の点光源によって照明されます。
2) これらのさまざまな照明画像を使用して推定の不確実性を低減することで、U-Net バックボーンを備えた大規模な G バッファ モデルをトレーニングし、表面法線と材質を正確に予測します。
広範な実験により、私たちのアプローチが最先端の方法を大幅に上回っており、鮮明な再照明効果を備えた正確な表面法線と PBR マテリアルの推定が可能であることが検証されています。
コードとデータセットは、https://projects.zxhezexin.com/neural-lightrig のプロジェクト ページで入手できます。

要約(オリジナル)

Recovering the geometry and materials of objects from a single image is challenging due to its under-constrained nature. In this paper, we present Neural LightRig, a novel framework that boosts intrinsic estimation by leveraging auxiliary multi-lighting conditions from 2D diffusion priors. Specifically, 1) we first leverage illumination priors from large-scale diffusion models to build our multi-light diffusion model on a synthetic relighting dataset with dedicated designs. This diffusion model generates multiple consistent images, each illuminated by point light sources in different directions. 2) By using these varied lighting images to reduce estimation uncertainty, we train a large G-buffer model with a U-Net backbone to accurately predict surface normals and materials. Extensive experiments validate that our approach significantly outperforms state-of-the-art methods, enabling accurate surface normal and PBR material estimation with vivid relighting effects. Code and dataset are available on our project page at https://projects.zxhezexin.com/neural-lightrig.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google