Make-A-Texture: Fast Shape-Aware Texture Generation in 3 Seconds

要約

与えられた 3D ジオメトリのテキスト プロンプトから高解像度のテクスチャ マップを効率的に合成する新しいフレームワークである Make-A-Texture を紹介します。
私たちのアプローチでは、自動ビュー選択アルゴリズムによって決定される最適化された視点シーケンスで、深度を考慮した修復拡散モデルを使用して、複数の視点にわたって一貫性のあるテクスチャを段階的に生成します。
私たちの手法の重要な特徴はその驚くべき効率であり、単一の NVIDIA H100 GPU でわずか 3.07 秒のエンドツーエンドのランタイム内で完全なテクスチャ生成を達成し、既存の手法を大幅に上回ります。
このような加速は、拡散モデルの最適化と特殊な逆投影法によって実現されます。
さらに、私たちの方法は、表面が開いたオブジェクトの非正面の面と内部の面を選択的にマスクアウトすることにより、逆投影フェーズでのアーティファクトを軽減します。
実験結果は、Make-A-Texture が他の最先端の方法と同等、またはそれを上回る品質であることを示しています。
私たちの取り組みにより、インタラクティブな作成やテキストガイドによるテクスチャ編集など、現実世界の 3D コンテンツ作成におけるテクスチャ生成モデルの適用性と実用性が大幅に向上しました。

要約(オリジナル)

We present Make-A-Texture, a new framework that efficiently synthesizes high-resolution texture maps from textual prompts for given 3D geometries. Our approach progressively generates textures that are consistent across multiple viewpoints with a depth-aware inpainting diffusion model, in an optimized sequence of viewpoints determined by an automatic view selection algorithm. A significant feature of our method is its remarkable efficiency, achieving a full texture generation within an end-to-end runtime of just 3.07 seconds on a single NVIDIA H100 GPU, significantly outperforming existing methods. Such an acceleration is achieved by optimizations in the diffusion model and a specialized backprojection method. Moreover, our method reduces the artifacts in the backprojection phase, by selectively masking out non-frontal faces, and internal faces of open-surfaced objects. Experimental results demonstrate that Make-A-Texture matches or exceeds the quality of other state-of-the-art methods. Our work significantly improves the applicability and practicality of texture generation models for real-world 3D content creation, including interactive creation and text-guided texture editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google