Make-An-Animation: Large-Scale Text-conditional 3D Human Motion Generation

要約

テキストガイドによる人間のモーション生成は、アニメーションやロボット工学にまたがる影響力のあるアプリケーションであるため、大きな関心を集めています。
最近では、モーション生成に拡散モデルを適用することで、生成されるモーションの品質を向上させることが可能になりました。
ただし、既存のアプローチは比較的小規模なモーション キャプチャ データに依存しているため限界があり、より多様な実際のプロンプトではパフォーマンスが低下します。
この論文では、大規模な画像とテキストのデータセットからより多様なポーズとプロンプトを学習し、従来の作品に比べてパフォーマンスを大幅に向上させるテキスト条件付き人間動作生成モデルである Make-An-Animation を紹介します。
Make-An-Animation は 2 段階でトレーニングされます。
まず、画像とテキストのデータセットから抽出された (テキスト、静的擬似ポーズ) ペアの厳選された大規模なデータセットでトレーニングします。
次に、モーション キャプチャ データを微調整し、追加のレイヤーを追加して時間次元をモデル化します。
モーション生成のための以前の普及モデルとは異なり、Make-An-Animation は、最近のテキストからビデオへの生成モデルと同様の U-Net アーキテクチャを使用します。
動きのリアリズムと入力テキストとの位置合わせを人間が評価したところ、私たちのモデルがテキストから動きへの生成において最先端のパフォーマンスに達していることがわかりました。

要約(オリジナル)

Text-guided human motion generation has drawn significant interest because of its impactful applications spanning animation and robotics. Recently, application of diffusion models for motion generation has enabled improvements in the quality of generated motions. However, existing approaches are limited by their reliance on relatively small-scale motion capture data, leading to poor performance on more diverse, in-the-wild prompts. In this paper, we introduce Make-An-Animation, a text-conditioned human motion generation model which learns more diverse poses and prompts from large-scale image-text datasets, enabling significant improvement in performance over prior works. Make-An-Animation is trained in two stages. First, we train on a curated large-scale dataset of (text, static pseudo-pose) pairs extracted from image-text datasets. Second, we fine-tune on motion capture data, adding additional layers to model the temporal dimension. Unlike prior diffusion models for motion generation, Make-An-Animation uses a U-Net architecture similar to recent text-to-video generation models. Human evaluation of motion realism and alignment with input text shows that our model reaches state-of-the-art performance on text-to-motion generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google