UV-free Texture Generation with Denoising and Geodesic Heat Diffusions

要約

継ぎ目、歪み、無駄な UV スペース、頂点の重複、およびサーフェス上のさまざまな解像度は、標準の UV ベースのメッシュ テクスチャリングの最も顕著な問題です。
これらの問題は、自動 UV アンラップ技術を使用する場合に特に深刻です。
このため、ほとんどの最先端の方法のように自動生成された UV 平面でテクスチャを生成する代わりに、テクスチャを色付きの点群として表現することを提案します。その色は、
3D オブジェクトの表面。
私たちのサンプリングと解像度に依存しない生成モデルは、ポイント間の空間通信のためにメッシュの表面上の熱拡散に大きく依存しています。
任意にサンプリングされた点群テクスチャの処理を可能にし、長距離テクスチャの一貫性を確保するために、熱拡散中に使用されるメッシュ スペクトル プロパティの高速再サンプリングを導入し、新しい熱拡散ベースのセルフ アテンション メカニズムを導入します。
私たちのコードと事前トレーニングされたモデルは、github.com/simofoti/UV3-TeD で入手できます。

要約(オリジナル)

Seams, distortions, wasted UV space, vertex-duplication, and varying resolution over the surface are the most prominent issues of the standard UV-based texturing of meshes. These issues are particularly acute when automatic UV-unwrapping techniques are used. For this reason, instead of generating textures in automatically generated UV-planes like most state-of-the-art methods, we propose to represent textures as coloured point-clouds whose colours are generated by a denoising diffusion probabilistic model constrained to operate on the surface of 3D objects. Our sampling and resolution agnostic generative model heavily relies on heat diffusion over the surface of the meshes for spatial communication between points. To enable processing of arbitrarily sampled point-cloud textures and ensure long-distance texture consistency we introduce a fast re-sampling of the mesh spectral properties used during the heat diffusion and introduce a novel heat-diffusion-based self-attention mechanism. Our code and pre-trained models are available at github.com/simofoti/UV3-TeD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google