IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination

要約

この論文は、未知の静的照明条件下で撮影されたポーズ画像からオブジェクト素材を復元することを目的としています。
最近の手法では、微分可能な物理ベースのレンダリングを通じて材料パラメーターを最適化することで、この課題を解決しています。
ただし、オブジェクトのジオメトリ、マテリアル、および環境照明の間の結合により、逆レンダリング プロセス中に固有のあいまいさが存在し、以前の方法では正確な結果を得ることができません。
この不適切な問題を克服するために、私たちの重要なアイデアは、最適化プロセスを正規化するための生成モデルを使用して材料を事前に学習することです。
一般的なレンダリング方程式が拡散シェーディング項と鏡面シェーディング項に分割できることが観察され、したがってマテリアル プリアをアルベドと鏡面の拡散モデルとして定式化できます。
この設計のおかげで、既存の豊富な 3D オブジェクト データを使用してモデルをトレーニングすることができ、RGB 画像からマテリアル表現を復元する際の曖昧さを解決する多用途ツールとして自然に機能します。
さらに、推定されたマテリアルを活用して拡散モデルを導き、マルチビューの一貫した制約を満たす粗いトレーニング戦略を開発し、より安定した正確な結果をもたらします。
現実世界と合成データセットに関する広範な実験により、私たちのアプローチが物質回収において最先端のパフォーマンスを達成できることが実証されました。
コードは https://zju3dv.github.io/IntrinsicAnything で入手できます。

要約(オリジナル)

This paper aims to recover object materials from posed images captured under an unknown static lighting condition. Recent methods solve this task by optimizing material parameters through differentiable physically based rendering. However, due to the coupling between object geometry, materials, and environment lighting, there is inherent ambiguity during the inverse rendering process, preventing previous methods from obtaining accurate results. To overcome this ill-posed problem, our key idea is to learn the material prior with a generative model for regularizing the optimization process. We observe that the general rendering equation can be split into diffuse and specular shading terms, and thus formulate the material prior as diffusion models of albedo and specular. Thanks to this design, our model can be trained using the existing abundant 3D object data, and naturally acts as a versatile tool to resolve the ambiguity when recovering material representations from RGB images. In addition, we develop a coarse-to-fine training strategy that leverages estimated materials to guide diffusion models to satisfy multi-view consistent constraints, leading to more stable and accurate results. Extensive experiments on real-world and synthetic datasets demonstrate that our approach achieves state-of-the-art performance on material recovery. The code will be available at https://zju3dv.github.io/IntrinsicAnything.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google