ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians

要約

テキストからの忠実度の高い 3D 衣服の合成は望ましいものですが、デジタル アバターの作成には困難が伴います。
スコア蒸留サンプリング (SDS) による最近の拡散ベースのアプローチは、新たな可能性を可能にしましたが、人体と複雑に結びついているか、再利用が困難です。
テキスト プロンプトからウェアラブルで制作可能な 3D 衣服アセットを生成するための 3D ガウス ベースの手法である ClotheDreamer を紹介します。
個別の最適化を可能にする新しい表現、Disentangled Clothe Gaussian Splatting (DCGS) を提案します。
DCGS は、服を着たアバターを 1 つのガウス モデルとして表現しますが、体のガウス スプラットはフリーズします。
品質と完全性を高めるために、双方向 SDS を組み込み、ポーズ条件を使用して衣服を着たアバターと衣服の RGBD レンダリングをそれぞれ監視し、ゆるい衣服の新しい枝刈り戦略を提案します。
私たちのアプローチでは、カスタムの服装テンプレートを入力としてサポートすることもできます。
私たちのデザインの恩恵を受けて、合成 3D 衣服は仮想試着に簡単に適用でき、物理的に正確なアニメーションをサポートします。
広範な実験により、当社のメソッドの優れた競争力のあるパフォーマンスが実証されました。
私たちのプロジェクト ページは https://ggxxii.github.io/clothedreamer にあります。

要約(オリジナル)

High-fidelity 3D garment synthesis from text is desirable yet challenging for digital avatar creation. Recent diffusion-based approaches via Score Distillation Sampling (SDS) have enabled new possibilities but either intricately couple with human body or struggle to reuse. We introduce ClotheDreamer, a 3D Gaussian-based method for generating wearable, production-ready 3D garment assets from text prompts. We propose a novel representation Disentangled Clothe Gaussian Splatting (DCGS) to enable separate optimization. DCGS represents clothed avatar as one Gaussian model but freezes body Gaussian splats. To enhance quality and completeness, we incorporate bidirectional SDS to supervise clothed avatar and garment RGBD renderings respectively with pose conditions and propose a new pruning strategy for loose clothing. Our approach can also support custom clothing templates as input. Benefiting from our design, the synthetic 3D garment can be easily applied to virtual try-on and support physically accurate animation. Extensive experiments showcase our method’s superior and competitive performance. Our project page is at https://ggxxii.github.io/clothedreamer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google