NeMF: Neural Motion Fields for Kinematic Animation

要約

運動学的運動の時空間空間を学習するための暗黙の神経表現を提示します。
運動を離散的な連続サンプルとして表す以前の研究とは異なり、私たちは広大な運動空間を時間の経過に伴う連続関数として表現することを提案します。そのため、Neural Motion Fields（NeMF）という名前が付けられています。
具体的には、ニューラルネットワークを使用して、さまざまなモーションのセットに対してこの関数を学習します。これは、スタイルを制御するための時間座標$t$とランダムベクトル$z$を条件とする生成モデルとして設計されています。
次に、モデルは、潜在空間をサンプリングするためのモーションエンコーダーを備えた変分オートエンコーダー（VAE）としてトレーニングされます。
多様な人間のモーションデータセットと4倍のデータセットを使用してモデルをトレーニングし、その汎用性を証明し、タスクに依存しない問題を解決する前に、最終的に一般的なモーションとして展開し、モーション補間などのさまざまなモーション生成および編集アプリケーションでその優位性を示します。
-間、および再ナビゲート。

要約(オリジナル)

We present an implicit neural representation to learn the spatio-temporal space of kinematic motions. Unlike previous work that represents motion as discrete sequential samples, we propose to express the vast motion space as a continuous function over time, hence the name Neural Motion Fields (NeMF). Specifically, we use a neural network to learn this function for miscellaneous sets of motions, which is designed to be a generative model conditioned on a temporal coordinate $t$ and a random vector $z$ for controlling the style. The model is then trained as a Variational Autoencoder (VAE) with motion encoders to sample the latent space. We train our model with diverse human motion dataset and quadruped dataset to prove its versatility, and finally deploy it as a generic motion prior to solve task-agnostic problems and show its superiority in different motion generation and editing applications, such as motion interpolation, in-betweening, and re-navigating.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google