DoubleDiffusion: Combining Heat Diffusion with Denoising Diffusion for Texture Generation on 3D Meshes

要約

このペーパーでは、3Dメッシュ資産のテクスチャを生成する問題に対処します。
既存のアプローチは、多くの場合、画像拡散モデルに依存してマルチビュー画像観測を生成し、メッシュ表面に変換して単一のテクスチャを生成します。
ただし、マルチビュー画像と3Dスペースとの間のギャップにより、このようなプロセスは、幾何学的な矛盾、視認性の閉塞、ベーキングアーティファクトなどの問題のアレンジに影響を受けます。
この問題を克服するために、3Dメッシュにテクスチャを直接生成する新しいアプローチを提案します。
私たちのアプローチは、熱散逸拡散を活用します。これは、メッシュの幾何学的な表面に特徴を伝播する効率的な演算子として機能し、ワイヤーフレームの特定のレイアウトに鈍感なままです。
この手法を生成的拡散パイプラインに統合することにより、既存のテクスチャ生成方法と比較して、テクスチャ生成の効率を大幅に改善します。
3Dメッシュサーフェスでのネイティブ生成学習を可能にするために、熱散逸と拡散を除去する拡散と組み合わせているため、アプローチは2倍の拡散と呼んでいます。

要約(オリジナル)

This paper addresses the problem of generating textures for 3D mesh assets. Existing approaches often rely on image diffusion models to generate multi-view image observations, which are then transformed onto the mesh surface to produce a single texture. However, due to the gap between multi-view images and 3D space, such process is susceptible to arange of issues such as geometric inconsistencies, visibility occlusion, and baking artifacts. To overcome this problem, we propose a novel approach that directly generates texture on 3D meshes. Our approach leverages heat dissipation diffusion, which serves as an efficient operator that propagates features on the geometric surface of a mesh, while remaining insensitive to the specific layout of the wireframe. By integrating this technique into a generative diffusion pipeline, we significantly improve the efficiency of texture generation compared to existing texture generation methods. We term our approach DoubleDiffusion, as it combines heat dissipation diffusion with denoising diffusion to enable native generative learning on 3D mesh surfaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google