Enhancing Motion Variation in Text-to-Motion Models via Pose and Video Conditioned Editing

要約

テキストの説明から人間のポーズのシーケンスを生成するテキストモーションモデルが大きな注目を集めています。
ただし、データが不足しているため、これらのモデルが生成できる動作の範囲は依然として制限されています。
たとえば、現在のテキストモーションモデルでは、トレーニングデータには武道のキックしか含まれていないため、足の甲でサッカーボールを蹴るモーションを生成することはできません。
我々は、既存の基本動作を修正するための条件として短いビデオクリップまたは画像を使用する新しい方法を提案します。
このアプローチでは、モデルによるキックの理解が事前として機能し、サッカーのキックのビデオまたは画像が事後として機能し、目的のモーションの生成を可能にします。
これらの追加のモダリティを条件として組み込むことで、私たちの方法はトレーニング セットに存在しないモーションを作成し、テキストモーション データセットの制限を克服できます。
26 人の参加者を対象としたユーザー調査では、私たちのアプローチが、歩く、走る、しゃがむ、蹴るなど、テキストモーション データセット (HumanML3D など) で一般的に表現されるモーションに匹敵する、リアリズムのある目に見えないモーションを生成することが実証されました。

要約(オリジナル)

Text-to-motion models that generate sequences of human poses from textual descriptions are garnering significant attention. However, due to data scarcity, the range of motions these models can produce is still limited. For instance, current text-to-motion models cannot generate a motion of kicking a football with the instep of the foot, since the training data only includes martial arts kicks. We propose a novel method that uses short video clips or images as conditions to modify existing basic motions. In this approach, the model’s understanding of a kick serves as the prior, while the video or image of a football kick acts as the posterior, enabling the generation of the desired motion. By incorporating these additional modalities as conditions, our method can create motions not present in the training set, overcoming the limitations of text-motion datasets. A user study with 26 participants demonstrated that our approach produces unseen motions with realism comparable to commonly represented motions in text-motion datasets (e.g., HumanML3D), such as walking, running, squatting, and kicking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google