MatAtlas: Text-driven Consistent Geometry Texturing and Material Assignment

要約

我々は、一貫性のあるテキストガイド付き3Dモデルテクスチャリングのための手法であるMatAtlasを発表する。最近の進歩に従って、我々は、3Dモデルのテクスチャリングの前段階として、大規模なテキストから画像への生成モデル（例えば、安定拡散）を活用する。深度とエッジによって駆動されるグリッドパターン拡散を活用するRGBテクスチャリングパイプラインを注意深く設計する。マルチステップテクスチャリファインメントプロセスを提案することで、テクスチャリング出力の品質と3D一貫性を大幅に改善します。ベイクイン・ライティングの問題にさらに対処するために、RGBカラーを超えて、アセットにパラメトリック・マテリアルを割り当てることを追求します。高品質な初期RGBテクスチャが与えられた場合、ラージ・ランゲージ・モデル（LLM）を活用した新しいマテリアル検索方法を提案し、編集可能性と再ライティング可能性を実現します。本手法を様々な形状で評価し、本手法が先行技術を大幅に上回ることを示す。また、詳細なアブレーション研究を通して、各コンポーネントの役割を分析する。

要約(オリジナル)

We present MatAtlas, a method for consistent text-guided 3D model texturing. Following recent progress we leverage a large scale text-to-image generation model (e.g., Stable Diffusion) as a prior to texture a 3D model. We carefully design an RGB texturing pipeline that leverages a grid pattern diffusion, driven by depth and edges. By proposing a multi-step texture refinement process, we significantly improve the quality and 3D consistency of the texturing output. To further address the problem of baked-in lighting, we move beyond RGB colors and pursue assigning parametric materials to the assets. Given the high-quality initial RGB texture, we propose a novel material retrieval method capitalized on Large Language Models (LLM), enabling editabiliy and relightability. We evaluate our method on a wide variety of geometries and show that our method significantly outperform prior arts. We also analyze the role of each component through a detailed ablation study.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL