MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D

要約

テクスチャリングは、3Dアセットの視覚的な魅力と多様性を高める、3Dアセット制作ワークフローの重要なステップです。Text-to-Texture（T2T）生成における最近の進歩にもかかわらず、既存の手法は、主に局所的な不連続性、複数のビューにわたる不整合、UVアンラップ結果に大きく依存することが原因で、しばしば劣悪な結果をもたらします。これらの課題に取り組むため、我々は、マルチビューの一貫性を重視しながら、高解像度でシームレスなテクスチャを生成できる、MVPaint と呼ばれる新しい生成-精製 3D テクスチャリングフレームワークを提案します。MVPaint は主に 3 つの主要なモジュールから構成されています。1) 同期マルチビュー生成（SMG）。3D メッシュモデルが与えられると、MVPaint はまず SMG モデルを採用してマルチビュー画像を同時生 成します。2) 空間認識 3D 塗装（Spatial-aware 3D Inpainting: S3I）。完全な3Dテクスチャリングを保証するために、S3I法を導入します。これは、これまで観察されていなかった領域を効果的にテクスチャリングするように特別に設計されています。3) UV リファインメント（UVR）。さらに、MVPaint は UVR モジュールを採用し、UV 空間のテクスチャ品質を向上させます。このモジュールは、まず UV 空間の Super-Resolution を実行し、続いて、UV アンラップに起因する空間的なテクスチャの不連続性を修正するための Spatial-aware Seam-Smoothing アルゴリズムを実行します。さらに、Objaverse T2T ベンチマークと GSO T2T ベンチマークの 2 つの T2T 評価ベンチマークを確立し、それぞれ Objaverse データセットと GSO データセット全体から選択した高品質な 3D メッシュに基づいている。広範な実験結果は、MVPaint が既存の最先端手法を凌駕していることを示している。特に、MVPaint は、ヤヌスの問題を最小限に抑え、クロスビューの一貫性を高度に高めた、忠実度の高いテクスチャを生成することができた。

要約(オリジナル)

Texturing is a crucial step in the 3D asset production workflow, which enhances the visual appeal and diversity of 3D assets. Despite recent advancements in Text-to-Texture (T2T) generation, existing methods often yield subpar results, primarily due to local discontinuities, inconsistencies across multiple views, and their heavy dependence on UV unwrapping outcomes. To tackle these challenges, we propose a novel generation-refinement 3D texturing framework called MVPaint, which can generate high-resolution, seamless textures while emphasizing multi-view consistency. MVPaint mainly consists of three key modules. 1) Synchronized Multi-view Generation (SMG). Given a 3D mesh model, MVPaint first simultaneously generates multi-view images by employing an SMG model, which leads to coarse texturing results with unpainted parts due to missing observations. 2) Spatial-aware 3D Inpainting (S3I). To ensure complete 3D texturing, we introduce the S3I method, specifically designed to effectively texture previously unobserved areas. 3) UV Refinement (UVR). Furthermore, MVPaint employs a UVR module to improve the texture quality in the UV space, which first performs a UV-space Super-Resolution, followed by a Spatial-aware Seam-Smoothing algorithm for revising spatial texturing discontinuities caused by UV unwrapping. Moreover, we establish two T2T evaluation benchmarks: the Objaverse T2T benchmark and the GSO T2T benchmark, based on selected high-quality 3D meshes from the Objaverse dataset and the entire GSO dataset, respectively. Extensive experimental results demonstrate that MVPaint surpasses existing state-of-the-art methods. Notably, MVPaint could generate high-fidelity textures with minimal Janus issues and highly enhanced cross-view consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL