Single Mesh Diffusion Models with Field Latents for Texture Generation

要約

高品質のテクスチャを合成することを目的として、3D 形状の表面上で直接動作する固有の潜在拡散モデルのフレームワークを導入します。
私たちのアプローチは 2 つの貢献によって支えられています。1 つはメッシュ頂点上の離散ベクトル フィールドとしてテクスチャをエンコードする潜在表現であるフィールド 潜在、もう 1 つは表面上の学習された潜在空間での拡散プロセスのノイズを除去する方法を学習するフィールド 潜在拡散モデルです。
私たちは、単一テクスチャメッシュのパラダイムを検討します。このパラダイムでは、メッシュ上に特定のテクスチャのバリエーションを生成するようにモデルがトレーニングされます。
合成されたテクスチャは、既存の単一テクスチャ メッシュ生成モデルに比べて忠実度が優れていることを示します。
私たちのモデルは、修復やラベルガイドによる生成などのユーザー制御の編集タスクにも適応できます。
私たちのアプローチの有効性の一部は、アイソメトリの下で私たちが提案するフレームワークの等分散性によるもので、これによりモデルが局所的に類似した領域全体にわたって詳細をシームレスに再現できるようになり、生成テクスチャ転送の概念への扉が開かれます。

要約(オリジナル)

We introduce a framework for intrinsic latent diffusion models operating directly on the surfaces of 3D shapes, with the goal of synthesizing high-quality textures. Our approach is underpinned by two contributions: field latents, a latent representation encoding textures as discrete vector fields on the mesh vertices, and field latent diffusion models, which learn to denoise a diffusion process in the learned latent space on the surface. We consider a single-textured-mesh paradigm, where our models are trained to generate variations of a given texture on a mesh. We show the synthesized textures are of superior fidelity compared those from existing single-textured-mesh generative models. Our models can also be adapted for user-controlled editing tasks such as inpainting and label-guided generation. The efficacy of our approach is due in part to the equivariance of our proposed framework under isometries, allowing our models to seamlessly reproduce details across locally similar regions and opening the door to a notion of generative texture transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google