MotionStreamer: Streaming Motion Generation via Diffusion-based Autoregressive Model in Causal Latent Space

要約

このペーパーでは、テキストコンディショニングされたストリーミングモーション生成の課題に対処します。これにより、さまざまな長さの歴史的動きと着信テキストに基づいて、次の段階の人間のポーズを予測する必要があります。
既存の方法は、ストリーミングモーション生成を達成するのに苦労しています。たとえば、拡散モデルは事前に定義された運動長によって制約されますが、GPTベースの方法は、離散化された非因果性トークン化による応答と誤差の蓄積の問題に悩まされます。
これらの問題を解決するために、MotionsTreamerを提案します。MotionsStreamerは、継続的な因果潜在スペースを確率的自己回帰モデルに組み込んだ新しいフレームワークです。
連続的な潜伏は、離散化によって引き起こされる情報の損失を軽減し、長期の自己回帰生成中のエラーの蓄積を効果的に減少させます。
さらに、現在と履歴の動きの潜在性と履歴モーションの潜在性の間の時間的因果関係を確立することにより、我々のモデルは利用可能な情報を完全に利用して、正確なオンラインモーションデコードを実現します。
実験は、私たちの方法が既存のアプローチよりも優れていることを示しており、マルチラウンド生成、長期生成、動的運動構成など、より多くのアプリケーションを提供します。
プロジェクトページ：https：//zju3dv.github.io/motionstreamer/

要約(オリジナル)

This paper addresses the challenge of text-conditioned streaming motion generation, which requires us to predict the next-step human pose based on variable-length historical motions and incoming texts. Existing methods struggle to achieve streaming motion generation, e.g., diffusion models are constrained by pre-defined motion lengths, while GPT-based methods suffer from delayed response and error accumulation problem due to discretized non-causal tokenization. To solve these problems, we propose MotionStreamer, a novel framework that incorporates a continuous causal latent space into a probabilistic autoregressive model. The continuous latents mitigate information loss caused by discretization and effectively reduce error accumulation during long-term autoregressive generation. In addition, by establishing temporal causal dependencies between current and historical motion latents, our model fully utilizes the available information to achieve accurate online motion decoding. Experiments show that our method outperforms existing approaches while offering more applications, including multi-round generation, long-term generation, and dynamic motion composition. Project Page: https://zju3dv.github.io/MotionStreamer/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google