FlashTex: Fast Relightable Mesh Texturing with LightControlNet

要約

3D メッシュのテクスチャを手動で作成するのは、熟練したビジュアル コンテンツ作成者であっても時間がかかります。
私たちは、ユーザーが提供したテキスト プロンプトに基づいて入力 3D メッシュを自動的にテクスチャリングするための高速なアプローチを提案します。
重要なのは、私たちのアプローチは、結果として得られるテクスチャの表面マテリアル/反射率から照明を解きほぐし、メッシュを適切に再照明して、あらゆる照明環境でレンダリングできるようにすることです。
ControlNet アーキテクチャに基づく新しいテキストから画像へのモデルである LightControlNet を紹介します。これにより、モデルに対する条件付け画像として目的の照明を指定できるようになります。
次に、テキストからテクスチャへのパイプラインが 2 段階でテクスチャを構築します。
最初のステージでは、LightControlNet を使用して、視覚的に一貫したメッシュの参照ビューのまばらなセットを生成します。
2 番目のステージでは、LightControlNet と連携して動作するスコア蒸留サンプリング (SDS) に基づくテクスチャ最適化を適用し、サーフェス マテリアルを照明から解きほぐしながらテクスチャ品質を向上させます。
私たちのアルゴリズムは、以前のテキストからテクスチャへの方法よりも大幅に高速でありながら、高品質で再照明可能なテクスチャを生成します。

要約(オリジナル)

Manually creating textures for 3D meshes is time-consuming, even for expert visual content creators. We propose a fast approach for automatically texturing an input 3D mesh based on a user-provided text prompt. Importantly, our approach disentangles lighting from surface material/reflectance in the resulting texture so that the mesh can be properly relit and rendered in any lighting environment. We introduce LightControlNet, a new text-to-image model based on the ControlNet architecture, which allows the specification of the desired lighting as a conditioning image to the model. Our text-to-texture pipeline then constructs the texture in two stages. The first stage produces a sparse set of visually consistent reference views of the mesh using LightControlNet. The second stage applies a texture optimization based on Score Distillation Sampling (SDS) that works with LightControlNet to increase the texture quality while disentangling surface material from lighting. Our algorithm is significantly faster than previous text-to-texture methods, while producing high-quality and relightable textures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google