MotionWavelet: Human Motion Prediction via Wavelet Manifold Learning

要約

体の動きの時間特性と非定常ダイナミクスのモデル化は、人間の将来の動きを予測する上で重要な役割を果たします。
ただし、人間の複雑な動きには微妙な変化が含まれるため、これらの特徴を捉えることは困難です。
この論文では、ウェーブレット変換を利用し、空間周波数領域で人間の動作パターンを研究する人間の動作予測フレームワークである MotionWavelet を紹介します。
MotionWavelet では、ウェーブレット拡散モデル (WDM) が動きデータにウェーブレット変換を適用することでウェーブレット多様体を学習し、複雑な空間的および時間的動きパターンをエンコードします。
ウェーブレット多様体が構築されると、WDM は拡散モデルをトレーニングして、ウェーブレット潜在ベクトルから人間の動きを生成します。
WDM に加えて、MotionWavelet は、マニホールド構造との適合性を向上させるためにノイズ除去プロセスを改良するためのウェーブレット空間整形ガイダンス メカニズムも提供します。
WDM は、予測精度を高めるための時間的注意ベースのガイダンスも開発しています。
広範な実験により MotionWavelet の有効性が検証され、さまざまなベンチマークにわたって予測精度の向上と一般化の強化が実証されました。
コードとモデルは承認され次第リリースされます。

要約(オリジナル)

Modeling temporal characteristics and the non-stationary dynamics of body movement plays a significant role in predicting human future motions. However, it is challenging to capture these features due to the subtle transitions involved in the complex human motions. This paper introduces MotionWavelet, a human motion prediction framework that utilizes Wavelet Transformation and studies human motion patterns in the spatial-frequency domain. In MotionWavelet, a Wavelet Diffusion Model (WDM) learns a Wavelet Manifold by applying Wavelet Transformation on the motion data therefore encoding the intricate spatial and temporal motion patterns. Once the Wavelet Manifold is built, WDM trains a diffusion model to generate human motions from Wavelet latent vectors. In addition to the WDM, MotionWavelet also presents a Wavelet Space Shaping Guidance mechanism to refine the denoising process to improve conformity with the manifold structure. WDM also develops Temporal Attention-Based Guidance to enhance prediction accuracy. Extensive experiments validate the effectiveness of MotionWavelet, demonstrating improved prediction accuracy and enhanced generalization across various benchmarks. Our code and models will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google