Material Palette: Extraction of Materials from a Single Image

要約

この論文では、単一の実世界画像から物理ベース レンダリング (PBR) マテリアルを抽出する方法を提案します。
これは 2 つのステップで行います。まず、拡散モデルを使用して画像の領域をマテリアルの概念にマッピングします。これにより、シーン内の各マテリアルに似たテクスチャ画像のサンプリングが可能になります。
2 番目に、生成されたテクスチャを空間変化 BRDF (SVBRDF) に分解する別のネットワークの恩恵を受け、レンダリング アプリケーションですぐに使用できるマテリアルを提供します。
私たちのアプローチは、SVBRDF グラウンド トゥルースを使用した既存の合成マテリアル ライブラリに基づいて構築されていますが、拡散生成された RGB テクスチャ データセットも利用して、教師なしドメイン適応 (UDA) を使用して新しいサンプルに一般化できるようにします。
私たちの貢献は、合成データセットと現実世界のデータセットで徹底的に評価されます。
さらに、実際の写真から推定されたマテリアルを使用して 3D シーンを編集する方法の適用可能性を実証します。
コードとモデルはオープンソース化されます。
プロジェクトページ：https://astra-vision.github.io/MaterialPalette/

要約(オリジナル)

In this paper, we propose a method to extract physically-based rendering (PBR) materials from a single real-world image. We do so in two steps: first, we map regions of the image to material concepts using a diffusion model, which allows the sampling of texture images resembling each material in the scene. Second, we benefit from a separate network to decompose the generated textures into Spatially Varying BRDFs (SVBRDFs), providing us with materials ready to be used in rendering applications. Our approach builds on existing synthetic material libraries with SVBRDF ground truth, but also exploits a diffusion-generated RGB texture dataset to allow generalization to new samples using unsupervised domain adaptation (UDA). Our contributions are thoroughly evaluated on synthetic and real-world datasets. We further demonstrate the applicability of our method for editing 3D scenes with materials estimated from real photographs. The code and models will be made open-source. Project page: https://astra-vision.github.io/MaterialPalette/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google