Jointly Generating Multi-view Consistent PBR Textures using Collaborative Control

要約

マルチビューの一貫性は、画像拡散モデルにとって依然として課題です。
完全な幾何学的対応が先験的に知られているテキスト対テクスチャ問題の中でも、多くの方法ではビュー全体で位置合わせされた予測が得られず、結果を元のメッシュに組み込むために自明ではない融合方法が必要になります。
特に PBR テキストからテクスチャへの協調制御ワークフローについてこの問題を調査します。
Collaborative Control は、法線バンプ マップを含む PBR 画像の確率分布を直接モデル化します。
私たちの知る限り、完全な PBR スタックを直接出力する唯一の拡散モデルです。
このモデルをマルチビューで一貫性のあるものにするために必要な設計上の決定について説明し、アブレーション研究および実際のアプリケーションにおけるアプローチの有効性を実証します。

要約(オリジナル)

Multi-view consistency remains a challenge for image diffusion models. Even within the Text-to-Texture problem, where perfect geometric correspondences are known a priori, many methods fail to yield aligned predictions across views, necessitating non-trivial fusion methods to incorporate the results onto the original mesh. We explore this issue for a Collaborative Control workflow specifically in PBR Text-to-Texture. Collaborative Control directly models PBR image probability distributions, including normal bump maps; to our knowledge, the only diffusion model to directly output full PBR stacks. We discuss the design decisions involved in making this model multi-view consistent, and demonstrate the effectiveness of our approach in ablation studies, as well as practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google