Diffusion Motion: Generate Text-Guided 3D Human Motion by Diffusion Model

要約

タイトル： Diffusion Motion：拡散モデルによるテキストガイド3D人間の動きの生成
要約：本論文では、様々な速度、方向、および行動の構成を説明する複雑な自然言語文から3D人間の動きを生成するためのシンプルで革新的な方法を提案します。従来の生成モデルとは異なり、このタスクにはデノイジング拡散確率モデルを適用し、テキストの指導の下で多様な動きの結果を合成します。拡散モデルは、一連のノイズ除去ステップでマルコフプロセスによって白色雑音を構造化された3Dの動きに変換します。さらに、変分下限を最適化することによって効率的にトレーニングされます。テキストによる画像合成の目標を達成するために、トレーニング中にテキスト埋め込みをモデルに融合する、分類器フリーのガイダンス戦略を使用します。実験により、人間ML3Dテストセットで競合力のある結果を量的に達成し、より視覚的に自然で多様な例を生成することができることを示します。さらに、実験により、未知のテキスト指導のためのゼロショット生成が可能であることを示します。

– 自然言語文から3D人間の動きを生成するためのシンプルで革新的な手法を提案
– 従来の生成モデルとは異なり、このタスクにはデノイジング拡散確率モデルを適用
– 多様な動きの結果を合成
– 拡散モデルは、一連のノイズ除去ステップで白色雑音を構造化された3Dの動きに変換
– 変分下限を最適化することによって効率的にトレーニングされます
– 分類器フリーのガイダンス戦略を使用して、テキスト埋め込みをモデルに融合します
– 人間ML3Dテストセットで競合力のある結果を量的に達成し、より視覚的に自然で多様な例を生成することができることを示します
– 実験により、未知のテキスト指導のためのゼロショット生成が可能であることを示します。

要約(オリジナル)

We propose a simple and novel method for generating 3D human motion from complex natural language sentences, which describe different velocity, direction and composition of all kinds of actions. Different from existing methods that use classical generative architecture, we apply the Denoising Diffusion Probabilistic Model to this task, synthesizing diverse motion results under the guidance of texts. The diffusion model converts white noise into structured 3D motion by a Markov process with a series of denoising steps and is efficiently trained by optimizing a variational lower bound. To achieve the goal of text-conditioned image synthesis, we use the classifier-free guidance strategy to fuse text embedding into the model during training. Our experiments demonstrate that our model achieves competitive results on HumanML3D test set quantitatively and can generate more visually natural and diverse examples. We also show with experiments that our model is capable of zero-shot generation of motions for unseen text guidance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI