MoDi: Unconditional Motion Synthesis from Diverse Data

要約

ニューラル ネットワークの出現は、モーション合成の分野に革命をもたらしました。
しかし、与えられた分布からモーションを無条件に合成する方法を学習することは、特にモーションが非常に多様な場合、依然として困難な作業です。
この作業では、非常に多様で、構造化されておらず、ラベル付けされていないモーション データセットから、完全に監視されていない設定でトレーニングされた生成モデルである MoDi を紹介します。
推論中、MoDi は、行儀がよく、非常にセマンティックな潜在空間にある、高品質で多様なモーションを合成できます。
データセットに構造がないにもかかわらず、潜在空間を意味的にクラスター化できることを示し、セマンティック編集、群集シミュレーション、モーション補間などのさまざまなアプリケーションを促進します。
私たちの質的および量的実験は、私たちのフレームワークが非常に多様なモーション データセットの分布に従うことができる最先端の合成品質を達成することを示しています。
コードとトレーニング済みモデルは、https://sigal-raab.github.io/MoDi で入手できます。

要約(オリジナル)

The emergence of neural networks has revolutionized the field of motion synthesis. Yet, learning to unconditionally synthesize motions from a given distribution remains a challenging task, especially when the motions are highly diverse. In this work, we present MoDi – a generative model trained in a completely unsupervised setting from an extremely diverse, unstructured and unlabeled motion dataset. During inference, MoDi can synthesize high-quality, diverse motions that lay in a well-behaved and highly semantic latent space. We show that despite the lack of any structure in the dataset, the latent space can be semantically clustered, facilitating various applications including, semantic editing, crowd simulation and motion interpolation. Our qualitative and quantitative experiments show that our framework achieves state-of-the-art synthesis quality that can follow the distribution of highly diverse motion datasets. Code and trained models are available at https://sigal-raab.github.io/MoDi.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google