MatFuse: Controllable Material Generation with Diffusion Models

要約

コンピューター グラフィックスで高品質でリアルなマテリアルを作成することは、高度な専門知識を必要とする、時間のかかる困難な作業です。
この論文では、拡散モデル (DM) の生成力を利用して SVBRDF マップの作成を簡素化する、新しい統合アプローチである MatFuse を紹介します。
当社の DM ベースのパイプラインは、カラー パレット、スケッチ、画像などの複数のコンディショニング ソースを統合し、マテリアル合成におけるきめ細かい制御と柔軟性を可能にします。
このデザインにより、多様な情報ソースの組み合わせ (スケッチ + 画像の埋め込みなど) が可能になり、構成性の原則に沿って創造的な可能性が高まります。
さまざまな条件設定の下で、提案された方法の生成機能を実証します。
SVBRDF 推定タスクに関して、私たちの方法が定性的および定量的の両方で最先端のアプローチに匹敵するパフォーマンスを生み出すことを示します。

要約(オリジナル)

Creating high quality and realistic materials in computer graphics is a challenging and time-consuming task, which requires great expertise. In this paper, we present MatFuse, a novel unified approach that harnesses the generative power of diffusion models (DM) to simplify the creation of SVBRDF maps. Our DM-based pipeline integrates multiple sources of conditioning, such as color palettes, sketches, and pictures, enabling fine-grained control and flexibility in material synthesis. This design allows for the combination of diverse information sources (e.g., sketch + image embedding), enhancing creative possibilities in line with the principle of compositionality. We demonstrate the generative capabilities of the proposed method under various conditioning settings; on the SVBRDF estimation task, we show that our method yields performance comparable to state-of-the-art approaches, both qualitatively and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google