Spatio-temporal motion completion using a sequence of latent primitives

要約

追跡されていない3D点群のまばらにサンプリングされたシーケンスから時間の経過とともに変形する俳優の時間的にコヒーレントな4D表現を計算するマーカーレスパフォーマンスキャプチャ方法を提案します。
私たちの方法は、事前の時空間運動による潜在最適化によって進行します。
最近、タスクの一般的なモーションプライアが導入され、単一の潜在コードに基づいて人間のモーションのコヒーレント表現を提案し、短いシーケンスと与えられた時間的対応で結果を奨励しています。
これらのメソッドを対応のない長いシーケンスに拡張することは、ほとんど簡単です。
1つの潜在コードは、長期変動をエンコードするのに非効率的であることがわかり、潜在空間の最適化は、逆ポーズフィッティングの可能性があるため、誤った極小値の影響を非常に受けやすくなります。
4D人間のモーションシーケンスを1つの潜在コードではなく潜在プリミティブのシーケンスにエンコードする事前モーションを学習することで、両方の問題に対処します。
また、点群のシーケンスを学習した潜在空間に直接投影して、推論時に潜在表現の適切な初期化を提供する追加のマッピングエンコーダを提案します。
潜在空間からの時間的デコードは、時間的に暗黙的かつ連続的であり、時間分解能に柔軟性を提供します。
私たちの方法が最先端のモーションプライアよりも優れていることを実験的に示します。

要約(オリジナル)

We propose a markerless performance capture method that computes a temporally coherent 4D representation of an actor deforming over time from a sparsely sampled sequence of untracked 3D point clouds. Our method proceeds by latent optimization with a spatio-temporal motion prior. Recently, task generic motion priors have been introduced and propose a coherent representation of human motion based on a single latent code, with encouraging results with short sequences and given temporal correspondences. Extending these methods to longer sequences without correspondences is all but straightforward. One latent code proves inefficient to encode longer term variability, and latent space optimization will be very susceptible to erroneous local minima due to possible inverted pose fittings. We address both problems by learning a motion prior that encodes a 4D human motion sequence into a sequence of latent primitives instead of one latent code. We also propose an additional mapping encoder which directly projects a sequence of point clouds into the learned latent space to provide a good initialization of the latent representation at inference time. Our temporal decoding from latent space is implicit and continuous in time, providing flexibility with temporal resolution. We show experimentally that our method outperforms state-of-the-art motion priors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google