Learning 3D Garment Animation from Trajectories of A Piece of Cloth

要約

衣服のアニメーションは、バーチャルリアリティ、ゲーム、映画制作など、様々なアプリケーションでユビキタスである。近年、学習ベースのアプローチは、多様なシナリオの下で多様な衣服のアニメーションにおいて説得力のあるパフォーマンスを得ている。とはいえ、観察された衣服の変形を模倣するためには、データ駆動型の手法では大規模な衣服データが必要となり、リソース的にも時間的にもコストがかかる。加えて、観察された衣服アニメーションのダイナミクスにモデルを強制的に一致させることは、未知のケースへの一般化の可能性を妨げる可能性がある。本論文では、衣服ごとの教師あり学習を使用する代わりに、観察された衣服のアニメーション方法を学習するための分離スキームを採用する：1).観察された衣服から構成的な振る舞いを学習し、2).学習された構成法則に制約された様々な衣服を動的にアニメーションさせる。具体的には、エネルギー単位ネットワーク（EUNet）を提案し、構成関係をエネルギーの形式でモデル化する。EUNetは、解析的物理モデルや微分可能なシミュレーションエンジンからのプライアなしで、観察された布片から構成的挙動を直接捕らえることができ、伸縮や屈曲などの変形によって引き起こされるエネルギーの変化を一様に記述する。さらに、事前に訓練されたEUNetを適用して、エネルギーの最適化に基づく様々な衣服のアニメーションを行う。この分離スキームにより、衣服データの必要性が軽減され、衣服のアニメーションに布片のダイナミクスを利用することが可能になる。実験によると、EUNetは変形によるエネルギー勾配を効果的に提供する一方で、EUNetによって制約されたモデルは、衣服ごとに教師された方法で学習されたものと比較して、より安定した、物理的にもっともらしいパフォーマンスを達成する。コードはhttps://github.com/ftbabi/EUNet_NeurIPS2024.git。

要約(オリジナル)

Garment animation is ubiquitous in various applications, such as virtual reality, gaming, and film producing. Recently, learning-based approaches obtain compelling performance in animating diverse garments under versatile scenarios. Nevertheless, to mimic the deformations of the observed garments, data-driven methods require large scale of garment data, which are both resource-wise expensive and time-consuming. In addition, forcing models to match the dynamics of observed garment animation may hinder the potentials to generalize to unseen cases. In this paper, instead of using garment-wise supervised-learning we adopt a disentangled scheme to learn how to animate observed garments: 1). learning constitutive behaviors from the observed cloth; 2). dynamically animate various garments constrained by the learned constitutive laws. Specifically, we propose Energy Unit network (EUNet) to model the constitutive relations in the format of energy. Without the priors from analytical physics models and differentiable simulation engines, EUNet is able to directly capture the constitutive behaviors from the observed piece of cloth and uniformly describes the change of energy caused by deformations, such as stretching and bending. We further apply the pre-trained EUNet to animate various garments based on energy optimizations. The disentangled scheme alleviates the need of garment data and enables us to utilize the dynamics of a piece of cloth for animating garments. Experiments show that while EUNet effectively delivers the energy gradients due to the deformations, models constrained by EUNet achieve more stable and physically plausible performance comparing with those trained in garment-wise supervised manner. Code is available at https://github.com/ftbabi/EUNet_NeurIPS2024.git .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL