SINC: Spatial Composition of 3D Human Motions for Simultaneous Action Generation

要約

タイトル：SINC：同時アクション生成のための3D人間モーションの空間的な構成
要約：
– 目的：テキスト入力から、同時アクションを表現する3D人間モーションを生成する。
– 空間的な合成（spatial compositions）を行い、一つのアクションから別のアクションに移行する時間的な合成と異なる。
– 強力な言語モデルにより、アクションと身体部位の対応がエンコードされているという観察結果に基づき、GPT-3にに関連する身体部位は何ですか？というテキストを提示し、部位のリストと一連の例も提供することで、この知識を抽出する。
– モーションの合成には、同時にどの身体部位が関与するかを理解する必要があるため、2つのモーションの身体部位を組み合わせることが必要。これは自動化手法で、SINC（SImultaneous actioN Compositions for 3D human motions）と呼ばれる最新のテキスト・モーション生成モデルを訓練するために必要な合成データを生成する。
– しかしながら、合成のデータの数は限られており、コンビネーターも考慮しなければならないため合成データを読み込うことで実験を行い、テキスト・モーション生成モデルを改善させることができる。

要約(オリジナル)

Our goal is to synthesize 3D human motions given textual inputs describing simultaneous actions, for example ‘waving hand’ while ‘walking’ at the same time. We refer to generating such simultaneous movements as performing ‘spatial compositions’. In contrast to temporal compositions that seek to transition from one action to another, spatial compositing requires understanding which body parts are involved in which action, to be able to move them simultaneously. Motivated by the observation that the correspondence between actions and body parts is encoded in powerful language models, we extract this knowledge by prompting GPT-3 with text such as ‘what are the body parts involved in the action ?’, while also providing the parts list and few-shot examples. Given this action-part mapping, we combine body parts from two motions together and establish the first automated method to spatially compose two actions. However, training data with compositional actions is always limited by the combinatorics. Hence, we further create synthetic data with this approach, and use it to train a new state-of-the-art text-to-motion generation model, called SINC (‘SImultaneous actioN Compositions for 3D human motions’). In our experiments, we find training on additional synthetic GPT-guided compositional motions improves text-to-motion generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI