TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

要約

我々は、少数の入力画像 (3 ～ 5) から再照明可能なテクスチャを転送して、任意のカテゴリにわたるターゲット 3D 形状を作成する新しい画像ガイド付きテクスチャ合成手法である TextureDreamer を紹介します。
テクスチャの作成は、ビジョンとグラフィックスにおいて極めて重要な課題です。
産業企業は、経験豊富なアーティストを雇って、3D アセットのテクスチャを手動で作成します。
従来の手法では、高密度にサンプリングされたビューと正確に位置合わせされたジオメトリが必要ですが、学習ベースの手法ではデータセット内のカテゴリ固有の形状に限定されます。
対照的に、TextureDreamer は、何気なくキャプチャした数枚の画像だけで、非常に詳細で複雑なテクスチャを現実世界の環境から任意のオブジェクトに転送できるため、テクスチャ作成の民主化が大幅に可能になる可能性があります。
私たちの中心となるアイデアであるパー​​ソナライズされたジオメトリ対応スコア蒸留 (PGSD) は、テクスチャ情報抽出のためのパーソナライズされたモデリング、詳細な外観合成のための変分スコア蒸留、ControlNet による明示的なジオメトリ ガイダンスなど、拡散モデルの最近の進歩からインスピレーションを得ています。
私たちの統合といくつかの重要な変更により、テクスチャの品質が大幅に向上しました。
さまざまなカテゴリにまたがる実際の画像の実験では、TextureDreamer が、非常に現実的で意味論的に意味のあるテクスチャを任意のオブジェクトに正常に転送でき、以前の最先端技術の視覚的品質を超えていることがわかりました。

要約(オリジナル)

We present TextureDreamer, a novel image-guided texture synthesis method to transfer relightable textures from a small number of input images (3 to 5) to target 3D shapes across arbitrary categories. Texture creation is a pivotal challenge in vision and graphics. Industrial companies hire experienced artists to manually craft textures for 3D assets. Classical methods require densely sampled views and accurately aligned geometry, while learning-based methods are confined to category-specific shapes within the dataset. In contrast, TextureDreamer can transfer highly detailed, intricate textures from real-world environments to arbitrary objects with only a few casually captured images, potentially significantly democratizing texture creation. Our core idea, personalized geometry-aware score distillation (PGSD), draws inspiration from recent advancements in diffuse models, including personalized modeling for texture information extraction, variational score distillation for detailed appearance synthesis, and explicit geometry guidance with ControlNet. Our integration and several essential modifications substantially improve the texture quality. Experiments on real images spanning different categories show that TextureDreamer can successfully transfer highly realistic, semantic meaningful texture to arbitrary objects, surpassing the visual quality of previous state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google