Dress-1-to-3: Single Image to Simulation-Ready 3D Outfit with Diffusion Prior and Differentiable Physics

要約

大規模なモデルの最近の進歩により、画像から3Dの再構成が大幅に進歩しています。
ただし、生成されたモデルは多くの場合、単一のピースに融合され、ダウンストリームタスクでの適用性が制限されます。
このホワイトペーパーでは、3Dガーメントの生成に焦点を当てています。これは、衣服が分離可能でシミュレーション対応を必要とするダイナミックガーメントアニメーションを備えた仮想トライオンなどのアプリケーションの重要なエリアです。
物理学に透明性のあるシミュレーション対応の分離された衣服を、縫製パターンと人間をワイルドイメージから再構築する新しいパイプラインであるドレス-1-to-3を紹介します。
画像から始めて、私たちのアプローチは、事前に訓練された画像からシーイングへのパターン生成モデルを組み合わせて、事前に訓練されたマルチビュー拡散モデルを備えた粗い縫製パターンを作成して、マルチビュー画像を作成します。
縫製パターンは、生成されたマルチビュー画像に基づいた微分可能な衣服シミュレーターを使用してさらに洗練されています。
汎用性の高い実験は、私たちの最適化アプローチが、再構築された3D衣服と人間の幾何学的アラインメントを入力画像で大幅に強化することを示しています。
さらに、テクスチャ生成モジュールと人間のモーションジェネレーションモジュールを統合することにより、カスタマイズされた物理学に魅力的で現実的なダイナミックな衣服のデモを作成します。
プロジェクトページ：https：//dress-1to-3.github.io/

要約(オリジナル)

Recent advances in large models have significantly advanced image-to-3D reconstruction. However, the generated models are often fused into a single piece, limiting their applicability in downstream tasks. This paper focuses on 3D garment generation, a key area for applications like virtual try-on with dynamic garment animations, which require garments to be separable and simulation-ready. We introduce Dress-1-to-3, a novel pipeline that reconstructs physics-plausible, simulation-ready separated garments with sewing patterns and humans from an in-the-wild image. Starting with the image, our approach combines a pre-trained image-to-sewing pattern generation model for creating coarse sewing patterns with a pre-trained multi-view diffusion model to produce multi-view images. The sewing pattern is further refined using a differentiable garment simulator based on the generated multi-view images. Versatile experiments demonstrate that our optimization approach substantially enhances the geometric alignment of the reconstructed 3D garments and humans with the input image. Furthermore, by integrating a texture generation module and a human motion generation module, we produce customized physics-plausible and realistic dynamic garment demonstrations. Project page: https://dress-1-to-3.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google