MCMat: Multiview-Consistent and Physically Accurate PBR Material Generation

要約

既存の 2D 手法は、UNet ベースの拡散モデルを利用してマルチビューの物理ベース レンダリング (PBR) マップを生成しますが、マルチビューの不一致に悩まされます。一方、一部の 3D 手法は UV マップを直接生成し、3D データが限られているために一般化の問題に直面します。
これらの問題に対処するために、マルチビューの生成と UV マテリアルのリファインメントを含む 2 段階のアプローチを提案します。
生成段階では、拡散トランスフォーマー (DiT) モデルを採用して PBR マテリアルを生成します。特別に設計されたマルチブランチ DiT ブロックとリファレンスベースの DiT ブロックの両方が、異なるビュー間の機能の相互作用と融合を促進するグローバル アテンション メカニズムを採用しています。
マルチビューの一貫性を向上させます。
さらに、PBR ベースの拡散損失を採用して、生成されたマテリアルが現実的な物理原理と一致していることを確認します。
洗練段階では、空白領域の修復を実行し、UV 空間のディテールを強化するマテリアル洗練された DiT を提案します。
通常の条件を除いて、この改良では、学習の難易度を軽減し、一般化を向上させるために、生成段階からのマテリアル マップも追加の条件として採用しています。
広範な実験により、私たちの方法が PBR マテリアルを使用した 3D オブジェクトのテクスチャリングにおいて最先端のパフォーマンスを達成し、グラフィックス再照明アプリケーションに大きな利点を提供することが示されました。
プロジェクトページ: https://lingtengqiu.github.io/2024/MCMat/

要約(オリジナル)

Existing 2D methods utilize UNet-based diffusion models to generate multi-view physically-based rendering (PBR) maps but struggle with multi-view inconsistency, while some 3D methods directly generate UV maps, encountering generalization issues due to the limited 3D data. To address these problems, we propose a two-stage approach, including multi-view generation and UV materials refinement. In the generation stage, we adopt a Diffusion Transformer (DiT) model to generate PBR materials, where both the specially designed multi-branch DiT and reference-based DiT blocks adopt a global attention mechanism to promote feature interaction and fusion between different views, thereby improving multi-view consistency. In addition, we adopt a PBR-based diffusion loss to ensure that the generated materials align with realistic physical principles. In the refinement stage, we propose a material-refined DiT that performs inpainting in empty areas and enhances details in UV space. Except for the normal condition, this refinement also takes the material map from the generation stage as an additional condition to reduce the learning difficulty and improve generalization. Extensive experiments show that our method achieves state-of-the-art performance in texturing 3D objects with PBR materials and provides significant advantages for graphics relighting applications. Project Page: https://lingtengqiu.github.io/2024/MCMat/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google