Alchemist: Parametric Control of Material Properties with Diffusion Models

要約

我々は、実画像において、粗さ、メタリック、アルベド、透明度のような物体の材料属性を制御する方法を提案する。本手法は、フォトリアリズムのために知られるテキストから画像へのモデルの生成的な先行性を利用し、スカラー値と低レベルの材料特性を変更する命令を用いる。制御されたマテリアル属性を持つデータセットの不足に対処するため、物理ベースのマテリアルを持つオブジェクト中心の合成データセットを生成した。この合成データセット上で、事前に訓練されたテキストから画像へのモデルを微調整することで、他の全ての属性を保持したまま、実世界の画像の材料特性を編集することが可能となる。我々は、材料編集されたNeRFへの我々のモデルの応用の可能性を示す。

要約(オリジナル)

We propose a method to control material attributes of objects like roughness, metallic, albedo, and transparency in real images. Our method capitalizes on the generative prior of text-to-image models known for photorealism, employing a scalar value and instructions to alter low-level material properties. Addressing the lack of datasets with controlled material attributes, we generated an object-centric synthetic dataset with physically-based materials. Fine-tuning a modified pre-trained text-to-image model on this synthetic dataset enables us to edit material properties in real-world images while preserving all other attributes. We show the potential application of our model to material edited NeRFs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL