Implicit Neural Representations for Variable Length Human Motion Generation

要約

変分陰的神経表現（INR）を用いた行動条件付き人間運動生成法を提案する。
変分形式は、INRのアクション条件付き分布を可能にし、そこから表現を簡単にサンプリングして、新しい人間のモーションシーケンスを生成できます。
私たちの方法は、INRの一部が時間的埋め込みを使用して任意の長さのシーケンス全体に対して最適化されるため、構築による可変長シーケンス生成を提供します。
対照的に、以前の研究では、可変長シーケンスのモデリングの難しさが報告されていました。
Transformerデコーダーを使用した方法は、生成されたモーションのリアリズムと多様性の点で、HumanAct12、NTU-RGBD、およびUESTCデータセットの関連するすべての方法よりも優れていることを確認します。
驚いたことに、MLPデコーダーを使用した方法でさえ、最先端のTransformerベースのオートエンコーダーよりも一貫して優れています。
特に、私たちの方法によって生成された可変長の動きは、リアリズムと多様性の点で、最先端の方法によって生成された固定長の動きよりも優れていることを示します。
https://github.com/PACerv/ImplicitMotionでコードを記述します。

要約(オリジナル)

We propose an action-conditional human motion generation method using variational implicit neural representations (INR). The variational formalism enables action-conditional distributions of INRs, from which one can easily sample representations to generate novel human motion sequences. Our method offers variable-length sequence generation by construction because a part of INR is optimized for a whole sequence of arbitrary length with temporal embeddings. In contrast, previous works reported difficulties with modeling variable-length sequences. We confirm that our method with a Transformer decoder outperforms all relevant methods on HumanAct12, NTU-RGBD, and UESTC datasets in terms of realism and diversity of generated motions. Surprisingly, even our method with an MLP decoder consistently outperforms the state-of-the-art Transformer-based auto-encoder. In particular, we show that variable-length motions generated by our method are better than fixed-length motions generated by the state-of-the-art method in terms of realism and diversity. Code at https://github.com/PACerv/ImplicitMotion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google