Diverse Human Motion Prediction Guided by Multi-Level Spatial-Temporal Anchors

要約

一連の歴史的なポーズから与えられた多様な人間の動きを予測することは、ますます注目を集めています。
急速な進歩にもかかわらず、既存の研究は主に尤度ベースのサンプリングを通じて人間の動きのマルチモーダルな性質を捉えており、モードの崩壊が広く観察されています。
この論文では、サンプルの精度と多様性を促進するために、ランダムにサンプリングされたコードをアンカーと呼ばれる決定論的な学習可能なコンポーネントで解きほぐすシンプルで効果的なアプローチを提案します。
アンカーは、空間アンカーと時間アンカーにさらに分解され、時空間の視差を魅力的に解釈可能な制御を提供します。
原則として、時空間アンカーベースのサンプリング (STARS) は、さまざまな動き予測子に適用できます。
ここでは、人間の動きの事前知識（空間的局所性など）をエンコードし、それにアンカーを組み込む相互作用強化時空間グラフ畳み込みネットワーク（IE-STGCN）を提案します。
広範な実験により、私たちのアプローチが確率論的予測と決定論的予測の両方で最先端技術を上回っていることが実証されており、人間の動きをモデル化するための統一されたフレームワークとして提案されています。
コードと事前トレーニング済みのモデルは、https://github.com/Sirui-Xu/STARS で入手できます。

要約(オリジナル)

Predicting diverse human motions given a sequence of historical poses has received increasing attention. Despite rapid progress, existing work captures the multi-modal nature of human motions primarily through likelihood-based sampling, where the mode collapse has been widely observed. In this paper, we propose a simple yet effective approach that disentangles randomly sampled codes with a deterministic learnable component named anchors to promote sample precision and diversity. Anchors are further factorized into spatial anchors and temporal anchors, which provide attractively interpretable control over spatial-temporal disparity. In principle, our spatial-temporal anchor-based sampling (STARS) can be applied to different motion predictors. Here we propose an interaction-enhanced spatial-temporal graph convolutional network (IE-STGCN) that encodes prior knowledge of human motions (e.g., spatial locality), and incorporate the anchors into it. Extensive experiments demonstrate that our approach outperforms state of the art in both stochastic and deterministic prediction, suggesting it as a unified framework for modeling human motions. Our code and pretrained models are available at https://github.com/Sirui-Xu/STARS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google