FabricDiffusion: High-Fidelity Texture Transfer for 3D Garments Generation from In-The-Wild Clothing Images

要約

単一の衣服画像から任意の形状の 3D 衣服に布地テクスチャを転送する方法である FabricDiffusion を紹介します。
既存のアプローチは通常、2D から 3D へのテクスチャ マッピングまたは生成モデルによる深度認識修復を通じて衣服の表面にテクスチャを合成します。
残念ながら、これらの方法では、特に入力画像のオクルージョン、歪み、ポーズが困難であるため、テクスチャの詳細をキャプチャして保存するのが難しいことがよくあります。
ファッション業界では、ほとんどの衣服が平らで反復可能なテクスチャで縫製パターンを縫い合わせることによって構築されているという観察に触発され、衣服のテクスチャ転送のタスクを、歪みのないタイル化可能なテクスチャ マテリアルを抽出し、その後、その UV 空間にマッピングするというタスクに設定しました。
衣服。
この洞察に基づいて、大規模な合成データセットを使用してノイズ除去拡散モデルをトレーニングし、入力テクスチャ イメージの歪みを修正します。
このプロセスにより、既存の物理ベース レンダリング (PBR) マテリアル生成パイプラインとの緊密な結合を可能にするフラット テクスチャ マップが生成され、さまざまな照明条件下での衣服のリアルな再照明が可能になります。
FabricDiffusion が、テクスチャ パターン、素材特性、詳細なプリントやロゴなどのさまざまな特徴を 1 つの衣服画像から転送できることを示します。
広範な実験により、私たちのモデルは、合成データと現実世界の野生の衣服画像の両方において、目に見えないテクスチャや衣服の形状に一般化しながら、最先端の手法を大幅に上回るパフォーマンスを示すことが実証されました。

要約(オリジナル)

We introduce FabricDiffusion, a method for transferring fabric textures from a single clothing image to 3D garments of arbitrary shapes. Existing approaches typically synthesize textures on the garment surface through 2D-to-3D texture mapping or depth-aware inpainting via generative models. Unfortunately, these methods often struggle to capture and preserve texture details, particularly due to challenging occlusions, distortions, or poses in the input image. Inspired by the observation that in the fashion industry, most garments are constructed by stitching sewing patterns with flat, repeatable textures, we cast the task of clothing texture transfer as extracting distortion-free, tileable texture materials that are subsequently mapped onto the UV space of the garment. Building upon this insight, we train a denoising diffusion model with a large-scale synthetic dataset to rectify distortions in the input texture image. This process yields a flat texture map that enables a tight coupling with existing Physically-Based Rendering (PBR) material generation pipelines, allowing for realistic relighting of the garment under various lighting conditions. We show that FabricDiffusion can transfer various features from a single clothing image including texture patterns, material properties, and detailed prints and logos. Extensive experiments demonstrate that our model significantly outperforms state-to-the-art methods on both synthetic data and real-world, in-the-wild clothing images while generalizing to unseen textures and garment shapes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google