D-Garment: Physics-Conditioned Latent Diffusion for Dynamic Garment Deformations

要約

体型、体の動き、布の素材に合わせて3D衣服を調整・変形させることは、仮想現実や拡張現実における重要な問題である。バーチャル更衣室からエンターテイメントやゲーム産業まで、その用途は多岐にわたります。この問題は、衣服のダイナミクスがしわのパターンなどの幾何学的な詳細に影響するため困難であり、着用者の体型や動き、布素材の特徴などの物理的な入力に依存する。既存の研究では、サンプルデータから衣服の変形を生成するための学習ベースのモデリング技術や、現実的な衣服のダイナミクスを生成するための物理学にヒントを得たシミュレータが研究されている。我々は、物理ベースのシミュレータで生成されたデータで学習させた学習ベースのアプローチを提案する。先行研究と比較して、我々の3D生成モデルは、ルーズな布の形状に対する衣服の変形を学習し、特に体の動きと布の素材によって駆動される大きな変形と動的な皺を学習する。さらに、このモデルは、ビジョンセンサーを用いて取得した観察結果に効率的に適合させることができる。我々は、拡散モデルの能力を活用して、細かいスケールの詳細を学習することを提案する。2Dパラメータ空間で3D衣服をモデル化し、メッシュ解像度から独立したこの表現を使って潜在拡散モデルを学習する。これにより、大局的・局所的な幾何学的情報を身体や素材の情報と条件付けることができる。本手法を、シミュレーションデータとマルチビュー撮影プラットフォームで撮影したデータの両方で定量的・定性的に評価する。強力なベースラインと比較して、我々の手法は面取り距離の点でより正確である。

要約(オリジナル)

Adjusting and deforming 3D garments to body shapes, body motion, and cloth material is an important problem in virtual and augmented reality. Applications are numerous, ranging from virtual change rooms to the entertainment and gaming industry. This problem is challenging as garment dynamics influence geometric details such as wrinkling patterns, which depend on physical input including the wearer’s body shape and motion, as well as cloth material features. Existing work studies learning-based modeling techniques to generate garment deformations from example data, and physics-inspired simulators to generate realistic garment dynamics. We propose here a learning-based approach trained on data generated with a physics-based simulator. Compared to prior work, our 3D generative model learns garment deformations for loose cloth geometry, especially for large deformations and dynamic wrinkles driven by body motion and cloth material. Furthermore, the model can be efficiently fitted to observations captured using vision sensors. We propose to leverage the capability of diffusion models to learn fine-scale detail: we model the 3D garment in a 2D parameter space, and learn a latent diffusion model using this representation independent from the mesh resolution. This allows to condition global and local geometric information with body and material information. We quantitatively and qualitatively evaluate our method on both simulated data and data captured with a multi-view acquisition platform. Compared to strong baselines, our method is more accurate in terms of Chamfer distance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL