MD-ProjTex: Texturing 3D Shapes with Multi-Diffusion Projection

要約

MD-ProjTexは、事前に訓練されたテキストから画像への拡散モデルを使用して、3D形状のための高速で一貫性のあるテキストガイド付きテクスチャ生成のための手法である。我々のアプローチの中核は、異なる視点間で首尾一貫したテクスチャを保証する、UV空間におけるマルチビュー一貫性メカニズムである。具体的には、MD-ProjTexは各拡散ステップで複数のビューからのノイズ予測を融合し、3D一貫性を維持するためにビューごとのノイズ除去方向を共同で更新する。最適化や逐次的なビュー合成に依存する既存の最先端手法とは対照的に、MD-ProjTexは計算効率が高く、定量的・定性的により良い結果を達成する。

要約(オリジナル)

We introduce MD-ProjTex, a method for fast and consistent text-guided texture generation for 3D shapes using pretrained text-to-image diffusion models. At the core of our approach is a multi-view consistency mechanism in UV space, which ensures coherent textures across different viewpoints. Specifically, MD-ProjTex fuses noise predictions from multiple views at each diffusion step and jointly updates the per-view denoising directions to maintain 3D consistency. In contrast to existing state-of-the-art methods that rely on optimization or sequential view synthesis, MD-ProjTex is computationally more efficient and achieves better quantitative and qualitative results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL