PhotoMat: A Material Generator Learned from Single Flash Photos

要約

高品質のデジタル マテリアルをオーサリングすることは、3D レンダリングのリアリズムの鍵となります。
これまでのマテリアルの生成モデルは、合成データのみに基づいてトレーニングされていました。
このようなデータは入手可能性が限られており、実際の資料とは視覚的にギャップがあります。
私たちは、PhotoMat を提案することでこの制限を回避します。PhotoMat は、フラッシュ付きの携帯電話のカメラを使用してキャプチャされたマテリアル サンプルの実際の写真のみでトレーニングされた最初のマテリアル ジェネレーターです。
この設定では、個々のマテリアル マップの監視は利用できません。
代わりに、学習した再照明モジュールでレンダリングされるニューラル マテリアル表現のジェネレーターをトレーニングして、任意に照明された RGB 画像を作成します。
これらは、弁別器を使用して実際の写真と比較されます。
次に、マテリアル マップ推定器をトレーニングして、ニューラル マテリアル表現からマテリアルの反射率プロパティをデコードします。
私たちは、フラッシュ照明下で携帯電話のカメラで撮影した 12,000 枚のマテリアル写真の新しいデータセットを使用して PhotoMat をトレーニングします。
生成されたマテリアルは、合成データでトレーニングされた以前のマテリアル ジェネレーターよりも優れた視覚的品質を備えていることを実証します。
さらに、生成されたニューラルマテリアルに厳密に一致するように分析マテリアルモデルを適合させることができるため、さらに編集して 3D レンダリングで使用することが可能になります。

要約(オリジナル)

Authoring high-quality digital materials is key to realism in 3D rendering. Previous generative models for materials have been trained exclusively on synthetic data; such data is limited in availability and has a visual gap to real materials. We circumvent this limitation by proposing PhotoMat: the first material generator trained exclusively on real photos of material samples captured using a cell phone camera with flash. Supervision on individual material maps is not available in this setting. Instead, we train a generator for a neural material representation that is rendered with a learned relighting module to create arbitrarily lit RGB images; these are compared against real photos using a discriminator. We then train a material maps estimator to decode material reflectance properties from the neural material representation. We train PhotoMat with a new dataset of 12,000 material photos captured with handheld phone cameras under flash lighting. We demonstrate that our generated materials have better visual quality than previous material generators trained on synthetic data. Moreover, we can fit analytical material models to closely match these generated neural materials, thus allowing for further editing and use in 3D rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google