Purposer: Putting Human Motion Generation in Context

要約

人間のモーションを生成して 3D 屋内シーンを配置する新しい方法を紹介します。
シーン内のパス、ターゲットのポーズ、過去のモーション、3D 点群として表現されるシーンなど、コンディショニング信号のさまざまな組み合わせで制御できます。
最先端の手法は、単一の設定に特化したモデルであり、大量の高品質で多様なトレーニング データを必要とするか、シーンやその他のコンテキスト情報を統合しない無条件モデルです。
結果として、それらの適用性は限られており、高価なトレーニング データに依存しています。
これらの制限に対処するために、私たちはニューラル離散表現学習に基づいた、Purposer と呼ばれる新しい方法を提案します。
私たちのモデルは、AMASS などのオープンアクセスの大規模データセットにすでに存在するさまざまな種類の情報を柔軟な方法で活用できます。
まず、無条件の人間の動きを離散的な潜在空間にエンコードします。
次に、自己回帰生成モデルは、プロンプト トークンまたは追加トークンのいずれかを使用して主要なコンテキスト情報で条件付けされ、この空間での次のステップの予測のためにトレーニングされ、潜在インデックスのシーケンスを合成します。
さらに、2 つの分岐を持つネットワークを使用して特徴の個別のスタックを計算することにより、このような因果モデルで将来の条件付け情報を処理する新しい条件付けブロックを設計します。
このようにして、Purposer はさまざまなテスト シーンでリアルなモーション シーケンスを生成できます。
徹底的な評価を通じて、当社のマルチコンテキスト ソリューションが、品質と多様性の両方の点で、特定のコンテキスト情報に対する既存の特化したアプローチよりも優れていることを実証します。
私たちのモデルは短いシーケンスでトレーニングされていますが、さまざまな調整信号を使用できることの副産物として、テスト時にさまざまな組み合わせを使用して短いシーケンスを連鎖させ、コンテキスト シーン内で長いモーションを生成できます。

要約(オリジナル)

We present a novel method to generate human motion to populate 3D indoor scenes. It can be controlled with various combinations of conditioning signals such as a path in a scene, target poses, past motions, and scenes represented as 3D point clouds. State-of-the-art methods are either models specialized to one single setting, require vast amounts of high-quality and diverse training data, or are unconditional models that do not integrate scene or other contextual information. As a consequence, they have limited applicability and rely on costly training data. To address these limitations, we propose a new method ,dubbed Purposer, based on neural discrete representation learning. Our model is capable of exploiting, in a flexible manner, different types of information already present in open access large-scale datasets such as AMASS. First, we encode unconditional human motion into a discrete latent space. Second, an autoregressive generative model, conditioned with key contextual information, either with prompting or additive tokens, and trained for next-step prediction in this space, synthesizes sequences of latent indices. We further design a novel conditioning block to handle future conditioning information in such a causal model by using a network with two branches to compute separate stacks of features. In this manner, Purposer can generate realistic motion sequences in diverse test scenes. Through exhaustive evaluation, we demonstrate that our multi-contextual solution outperforms existing specialized approaches for specific contextual information, both in terms of quality and diversity. Our model is trained with short sequences, but a byproduct of being able to use various conditioning signals is that at test time different combinations can be used to chain short sequences together and generate long motions within a context scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google