MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

要約

この論文は、テキスト記述から 3D メッシュ用のマテリアルを生成することを目的としています。
テクスチャ マップを合成する既存の方法とは異なり、外観表現としてセグメントごとの手続き型マテリアル グラフを生成することを提案します。これにより、高品質のレンダリングがサポートされ、編集に大幅な柔軟性が提供されます。
マテリアル グラフ生成モデルをトレーニングするために、広範なペア データ、つまりマテリアル グラフと対応するテキストの説明を含む 3D メッシュに依存する代わりに、テキストとマテリアル グラフを接続するためのブリッジとして、事前にトレーニングされた 2D 拡散モデルを活用することを提案します。
具体的には、私たちのアプローチは、形状を一連のセグメントに分解し、セグメント制御の拡散モデルを設計して、メッシュ パーツと位置合わせされた 2D 画像を合成します。
生成された画像に基づいて、マテリアル グラフのパラメータを初期化し、微分可能レンダリング モジュールを通じてパラメータを微調整して、テキストの説明に従ってマテリアルを生成します。
広範な実験により、フォトリアリズム、解像度、編集可能性において既存の方法よりも優れたフレームワークのパフォーマンスが実証されました。
プロジェクトページ：https://zju3dv.github.io/MaPa

要約(オリジナル)

This paper aims to generate materials for 3D meshes from text descriptions. Unlike existing methods that synthesize texture maps, we propose to generate segment-wise procedural material graphs as the appearance representation, which supports high-quality rendering and provides substantial flexibility in editing. Instead of relying on extensive paired data, i.e., 3D meshes with material graphs and corresponding text descriptions, to train a material graph generative model, we propose to leverage the pre-trained 2D diffusion model as a bridge to connect the text and material graphs. Specifically, our approach decomposes a shape into a set of segments and designs a segment-controlled diffusion model to synthesize 2D images that are aligned with mesh parts. Based on generated images, we initialize parameters of material graphs and fine-tune them through the differentiable rendering module to produce materials in accordance with the textual description. Extensive experiments demonstrate the superior performance of our framework in photorealism, resolution, and editability over existing methods. Project page: https://zju3dv.github.io/MaPa

arxiv情報

提供元, 利用サービス

arxiv.jp, Google