VLMaterial: Procedural Material Generation with Large Vision-Language Models

要約

機能的なノードグラフとして表される手続き材料は、フォトリアリックな材料の外観設計のためのコンピューターグラフィックスで遍在しています。
ユーザーは、目的の視覚的外観を実現するために、直感的で正確な編集を実行できます。
ただし、入力画像を考慮して手続き資料を作成するには、専門的な知識と多大な努力が必要です。
この作業では、手続き材料を標準のPythonプログラムに変換する機能を活用し、大規模な訓練を受けたビジョン言語モデル（VLM）を微調整して、入力画像からそのようなプログラムを生成します。
効果的な微調整を可能にするために、オープンソースの手続き的材料データセットを提供し、別の事前に訓練された大手言語モデル（LLM）を促すことにより、プログラムレベルの増強を実行することを提案します。
広範な評価を通じて、私たちの方法は、合成例と現実世界の両方の例で以前の方法よりも優れていることを示します。

要約(オリジナル)

Procedural materials, represented as functional node graphs, are ubiquitous in computer graphics for photorealistic material appearance design. They allow users to perform intuitive and precise editing to achieve desired visual appearances. However, creating a procedural material given an input image requires professional knowledge and significant effort. In this work, we leverage the ability to convert procedural materials into standard Python programs and fine-tune a large pre-trained vision-language model (VLM) to generate such programs from input images. To enable effective fine-tuning, we also contribute an open-source procedural material dataset and propose to perform program-level augmentation by prompting another pre-trained large language model (LLM). Through extensive evaluation, we show that our method outperforms previous methods on both synthetic and real-world examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google