PersonaBooth: Personalized Text-to-Motion Generation

要約

このホワイトペーパーでは、モーションパーソナライズを紹介します。これは、ペルソナを含むいくつかの基本的な動きを使用して、テキストの説明に合わせたパーソナライズされた動きを生成する新しいタスクです。
この新しいタスクをサポートするために、複数のアクターのユニークなペルソナを捉えるPermo（PersonAmotion）と呼ばれる新しい大規模なモーションデータセットを紹介します。
また、PersonAboothと呼ばれる事前に抑制された運動拡散モデルのマルチモーダル微調整方法も提案します。
Personaboothは、2つの主な課題に対処します。i）ペルソナ中心のPermoデータセットと、ペルソナ固有のデータを欠いている前削除データセットとの間の大幅な分布ギャップ、ii）モーションから一貫したペルソナをキャプチャする難しさは、コンテンツが異なります（アクションタイプ）。
データセットの分布ギャップに取り組むために、ペルソナトークンを導入して、新しいペルソナ機能を受け入れ、フィネチング中のテキストとビジュアルの両方にマルチモーダル適応を実行します。
一貫したペルソナをキャプチャするために、同じペルソナを持つサンプル間の凝固内を強化するための対照的な学習手法を組み込みます。
さらに、複数の入力モーションからのペルソナキューの統合を最大化するために、コンテキスト認識融合メカニズムを導入します。
Personaboothは、最先端のモーションスタイル転送方法を上回り、モーションパーソナライズのための新しいベンチマークを確立します。

要約(オリジナル)

This paper introduces Motion Personalization, a new task that generates personalized motions aligned with text descriptions using several basic motions containing Persona. To support this novel task, we introduce a new large-scale motion dataset called PerMo (PersonaMotion), which captures the unique personas of multiple actors. We also propose a multi-modal finetuning method of a pretrained motion diffusion model called PersonaBooth. PersonaBooth addresses two main challenges: i) A significant distribution gap between the persona-focused PerMo dataset and the pretraining datasets, which lack persona-specific data, and ii) the difficulty of capturing a consistent persona from the motions vary in content (action type). To tackle the dataset distribution gap, we introduce a persona token to accept new persona features and perform multi-modal adaptation for both text and visuals during finetuning. To capture a consistent persona, we incorporate a contrastive learning technique to enhance intra-cohesion among samples with the same persona. Furthermore, we introduce a context-aware fusion mechanism to maximize the integration of persona cues from multiple input motions. PersonaBooth outperforms state-of-the-art motion style transfer methods, establishing a new benchmark for motion personalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google