Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models

要約

この論文では、ペイント 3D について説明します。ペイント 3D は、テキストまたは画像の入力に基づいて条件付けされたテクスチャなしの 3D メッシュに対して、高解像度、ライティングレス、多様な 2K UV テクスチャ マップを生成できる、粗いから細かいまでの新しい生成フレームワークです。
対処する主な課題は、イルミネーション情報を埋め込まずに高品質のテクスチャを生成することです。これにより、最新のグラフィックス パイプライン内でテクスチャを再ライティングまたは再編集できるようになります。
これを達成するために、私たちの方法ではまず、事前にトレーニングされた深度認識 2D 拡散モデルを利用してビュー条件付き画像を生成し、マルチビュー テクスチャ フュージョンを実行して、初期の粗いテクスチャ マップを生成します。
ただし、2D モデルは 3D 形状を完全に表現できず、照明効果を無効にできるため、粗いテクスチャ マップには不完全な領域や照明アーティファクトが表示されます。
これを解決するために、不完全な領域の形状を考慮したリファインと照明アーティファクトの除去に特化した個別の UV 修復モデルと UVHD 拡散モデルをトレーニングします。
この粗いものから細かいものへのプロセスを通じて、Paint3D はセマンティックな一貫性を維持しながら照明を使用しない高品質の 2K UV テクスチャを生成することができ、3D オブジェクトのテクスチャリングにおける最先端技術を大幅に進歩させます。

要約(オリジナル)

This paper presents Paint3D, a novel coarse-to-fine generative framework that is capable of producing high-resolution, lighting-less, and diverse 2K UV texture maps for untextured 3D meshes conditioned on text or image inputs. The key challenge addressed is generating high-quality textures without embedded illumination information, which allows the textures to be re-lighted or re-edited within modern graphics pipelines. To achieve this, our method first leverages a pre-trained depth-aware 2D diffusion model to generate view-conditional images and perform multi-view texture fusion, producing an initial coarse texture map. However, as 2D models cannot fully represent 3D shapes and disable lighting effects, the coarse texture map exhibits incomplete areas and illumination artifacts. To resolve this, we train separate UV Inpainting and UVHD diffusion models specialized for the shape-aware refinement of incomplete areas and the removal of illumination artifacts. Through this coarse-to-fine process, Paint3D can produce high-quality 2K UV textures that maintain semantic consistency while being lighting-less, significantly advancing the state-of-the-art in texturing 3D objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google