Modiff: Action-Conditioned 3D Motion Generation with Denoising Diffusion Probabilistic Models

要約

拡散ベースの生成モデルは、最近、複数のドメインで高品質の合成を行うための強力なソリューションとして登場しました。
拡散確率モデルは、双方向マルコフ連鎖を活用して、順方向拡散プロセスで学習した分布マッピングに基づいて逆マルコフ連鎖を推測することにより、サンプルを生成します。
この作業では、現実的で多様なアクション条件付きの 3D スケルトンベースのモーション生成の問題に取り組むために、ノイズ除去拡散確率モデル (DDPM) の恩恵を受ける条件付きパラダイムである Modiff を提案します。
私たちは、DDPM を使用して、カテゴリ アクションを条件とする可変数のモーション シーケンスを合成する先駆的な試みです。
大規模な NTU RGB+D データセットに対するアプローチを評価し、最先端のモーション生成方法に対する改善を示します。

要約(オリジナル)

Diffusion-based generative models have recently emerged as powerful solutions for high-quality synthesis in multiple domains. Leveraging the bidirectional Markov chains, diffusion probabilistic models generate samples by inferring the reversed Markov chain based on the learned distribution mapping at the forward diffusion process. In this work, we propose Modiff, a conditional paradigm that benefits from the denoising diffusion probabilistic model (DDPM) to tackle the problem of realistic and diverse action-conditioned 3D skeleton-based motion generation. We are a pioneering attempt that uses DDPM to synthesize a variable number of motion sequences conditioned on a categorical action. We evaluate our approach on the large-scale NTU RGB+D dataset and show improvements over state-of-the-art motion generation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google