3DSwapping: Texture Swapping For 3D Object From Single Reference Image

要約

3Dテクスチャスワッピングにより、3Dオブジェクトテクスチャのカスタマイズが可能になり、3D編集で効率的で多用途の視覚変換が可能になります。
専用の方法は存在しませんが、適応した2D編集とテキスト駆動型の3D編集アプローチは、この目的に役立ちます。
ただし、2D編集にはフレームごとの操作が必要であり、ビュー全体で矛盾を引き起こしますが、テキスト駆動型の3D編集は、参照画像からテクスチャ特性を維持するのに苦労します。
これらの課題に取り組むために、3DSWAPPING、統合する3Dテクスチャスワッピング方法を紹介します。1）プログレッシブ生成、2）ビュー依存勾配ガイダンス、および3）迅速な調整された勾配ガイダンス。
ビューの一貫性を確保するために、プログレッシブ生成プロセスは、単一の参照画像を編集することから始まり、隣接するビューへの編集を徐々に伝播します。
私たちの視界順応勾配ガイダンスは、一貫した出力と一貫性のない出力の特徴の違いに関する生成モデルを条件付けることにより、一貫性をさらに強化します。
テクスチャ特性を保持するために、参照画像と3Dオブジェクトの違いを正確にキャプチャするトークンを学習するプロンプトチューニングベースのグラデーションガイダンスを導入します。
このトークンは、編集プロセスを導き、ビュー全体でより一貫したテクスチャの保存を確保します。
全体として、3DSWAPPINGはこれらの新しい戦略を統合して、複数の視点で構造的な一貫性を維持しながら、より忠実度の高いテクスチャ転送を達成します。
広範な定性的および定量的評価は、3つの新しいコンポーネントが3Dオブジェクトの説得力のある効果的な2Dテクスチャスワッピングを可能にすることを確認しています。
コードは受け入れられると利用可能になります。

要約(オリジナル)

3D texture swapping allows for the customization of 3D object textures, enabling efficient and versatile visual transformations in 3D editing. While no dedicated method exists, adapted 2D editing and text-driven 3D editing approaches can serve this purpose. However, 2D editing requires frame-by-frame manipulation, causing inconsistencies across views, while text-driven 3D editing struggles to preserve texture characteristics from reference images. To tackle these challenges, we introduce 3DSwapping, a 3D texture swapping method that integrates: 1) progressive generation, 2) view-consistency gradient guidance, and 3) prompt-tuned gradient guidance. To ensure view consistency, our progressive generation process starts by editing a single reference image and gradually propagates the edits to adjacent views. Our view-consistency gradient guidance further reinforces consistency by conditioning the generation model on feature differences between consistent and inconsistent outputs. To preserve texture characteristics, we introduce prompt-tuning-based gradient guidance, which learns a token that precisely captures the difference between the reference image and the 3D object. This token then guides the editing process, ensuring more consistent texture preservation across views. Overall, 3DSwapping integrates these novel strategies to achieve higher-fidelity texture transfer while preserving structural coherence across multiple viewpoints. Extensive qualitative and quantitative evaluations confirm that our three novel components enable convincing and effective 2D texture swapping for 3D objects. Code will be available upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google