Language-guided Human Motion Synthesis with Atomic Actions

要約

人間の行動には固有の複雑さと多様性があるため、言語による人間の動作の合成は困難な作業でした。
従来の方法は、新しいアクションへの一般化において限界に直面しており、多くの場合、非現実的または一貫性のないモーション シーケンスが発生します。
この論文では、アクションを原子アクションに分解し、原子アクションの構成を学習するカリキュラム学習戦略を採用することで、この問題を軽減する ATOM (ATomic mOtion Modeling) を提案します。
まず、学習中に人間の複雑な動作を一連の原子的なアクションに分解し、次に学習した原子的なアクションを使用して新しいアクションを組み立てます。これにより、新しいアクションへの適応性が向上します。
さらに、マスク率を徐々に高めてマスクされたモーション モデリングを活用するカリキュラム学習トレーニング戦略を導入し、原子的なアクションの組み立てを促進します。
このアプローチは、モデルがより適切なモーション表現を学習するように強制しながら、以前の方法で一般的に発生したオーバーフィッティングの問題を軽減します。
私たちは、テキストからモーションへの合成タスクやアクションからモーションへの合成タスクを含む広範な実験を通じて、ATOM の有効性を実証します。
さらに、もっともらしく一貫したテキストガイドによる人間の動作シーケンスを合成する際のその優位性を説明します。

要約(オリジナル)

Language-guided human motion synthesis has been a challenging task due to the inherent complexity and diversity of human behaviors. Previous methods face limitations in generalization to novel actions, often resulting in unrealistic or incoherent motion sequences. In this paper, we propose ATOM (ATomic mOtion Modeling) to mitigate this problem, by decomposing actions into atomic actions, and employing a curriculum learning strategy to learn atomic action composition. First, we disentangle complex human motions into a set of atomic actions during learning, and then assemble novel actions using the learned atomic actions, which offers better adaptability to new actions. Moreover, we introduce a curriculum learning training strategy that leverages masked motion modeling with a gradual increase in the mask ratio, and thus facilitates atomic action assembly. This approach mitigates the overfitting problem commonly encountered in previous methods while enforcing the model to learn better motion representations. We demonstrate the effectiveness of ATOM through extensive experiments, including text-to-motion and action-to-motion synthesis tasks. We further illustrate its superiority in synthesizing plausible and coherent text-guided human motion sequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google