Progressive Human Motion Generation Based on Text and Few Motion Frames

要約

既存のテキストからモーション（T2M）メソッドは、テキストの説明から現実的な人間の動きを生み出すことができますが、テキストのみを使用することは多様な姿勢を正確に記述するには不十分であるため、生成された動きを望ましい姿勢に合わせることは依然として困難です。
より制御可能な生成を達成するために、直感的な方法は、ユーザーが正確な望ましい姿勢を説明するいくつかのモーションフレームを入力できるようにすることです。
したがって、テキストからモーションを生成し、与えられたフレームからほとんどモーションを生成することを目的とする新しいテキストフレーム（TF2M）生成タスクを探ります。
直感的には、フレームが与えられたフレームに近いほど、このフレームの不確実性が低く、このフレームに条件付けられます。
したがって、不確実性が低いフレームから複数の段階で高い不確実性を持つ人々への動きを徐々に生成するための新しいプログレッシブ運動生成（PMG）方法を提案します。
各段階で、新しいフレームは、以前の段階で生成されたフレームとフレームのフレームとフレームのフレーム認識セマンティクスに条件付けられたテキストフレームガイド付きジェネレーターによって生成されます。
さらに、テスト中に誤って生成されたフレームの多段階蓄積によって引き起こされる列車テストのギャップを軽減するために、トレーニングのための擬似フレーム交換戦略を提案します。
実験結果は、PMGが既存のT2M生成方法を1つでも与えられたフレームでも大きなマージンで上回り、PMGの有効性を検証することを示しています。
コードがリリースされます。

要約(オリジナル)

Although existing text-to-motion (T2M) methods can produce realistic human motion from text description, it is still difficult to align the generated motion with the desired postures since using text alone is insufficient for precisely describing diverse postures. To achieve more controllable generation, an intuitive way is to allow the user to input a few motion frames describing precise desired postures. Thus, we explore a new Text-Frame-to-Motion (TF2M) generation task that aims to generate motions from text and very few given frames. Intuitively, the closer a frame is to a given frame, the lower the uncertainty of this frame is when conditioned on this given frame. Hence, we propose a novel Progressive Motion Generation (PMG) method to progressively generate a motion from the frames with low uncertainty to those with high uncertainty in multiple stages. During each stage, new frames are generated by a Text-Frame Guided Generator conditioned on frame-aware semantics of the text, given frames, and frames generated in previous stages. Additionally, to alleviate the train-test gap caused by multi-stage accumulation of incorrectly generated frames during testing, we propose a Pseudo-frame Replacement Strategy for training. Experimental results show that our PMG outperforms existing T2M generation methods by a large margin with even one given frame, validating the effectiveness of our PMG. Code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google