Generative Human Motion Stylization in Latent Space

要約

ヒューマン モーションのスタイル化は、入力モーションの内容を変更せずに、そのスタイルを修正することを目的としています。
ポーズ空間で直接動作する既存の作品とは異なり、モーションの抽出と注入のためのより表現力豊かで堅牢な表現として、事前トレーニングされたオートエンコーダーの潜在空間を活用します。
これに基づいて、単一のモーション (潜在) コードの多様な様式化結果を生成する新しい生成モデルを提示します。
トレーニング中に、モーション コードは 2 つのコーディング コンポーネントに分解されます。1 つは決定論的なコンテンツ コード、もう 1 つは事前分布に従う確率論的なスタイル コードです。
次に、ジェネレーターがコンテンツ コードとスタイル コードのランダムな組み合わせをマッサージして、対応するモーション コードを再構築します。
私たちのアプローチは多用途であり、スタイルのラベル付きまたはラベルなしのモーションから確率的なスタイル空間を学習できるため、スタイル化においても顕著な柔軟性が得られます。
推論では、ユーザーは参照モーションまたはラベルからのスタイル キューを使用してモーションをスタイル化することを選択できます。
明示的なスタイル入力がない場合でも、私たちのモデルは、無条件のスタイルの事前分布からサンプリングすることにより、新しい再スタイル化を容易にします。
実験の結果、私たちが提案した様式化モデルは、その軽量設計にも関わらず、スタイルの再現、コンテンツの保存、さまざまなアプリケーションや設定にわたる一般化の点で最先端のモデルを上回っていることが示されています。
プロジェクトページ：https://yxmu.foo/GenMoStyle

要約(オリジナル)

Human motion stylization aims to revise the style of an input motion while keeping its content unaltered. Unlike existing works that operate directly in pose space, we leverage the latent space of pretrained autoencoders as a more expressive and robust representation for motion extraction and infusion. Building upon this, we present a novel generative model that produces diverse stylization results of a single motion (latent) code. During training, a motion code is decomposed into two coding components: a deterministic content code, and a probabilistic style code adhering to a prior distribution; then a generator massages the random combination of content and style codes to reconstruct the corresponding motion codes. Our approach is versatile, allowing the learning of probabilistic style space from either style labeled or unlabeled motions, providing notable flexibility in stylization as well. In inference, users can opt to stylize a motion using style cues from a reference motion or a label. Even in the absence of explicit style input, our model facilitates novel re-stylization by sampling from the unconditional style prior distribution. Experimental results show that our proposed stylization models, despite their lightweight design, outperform the state-of-the-arts in style reeanactment, content preservation, and generalization across various applications and settings. Project Page: https://yxmu.foo/GenMoStyle

arxiv情報

提供元, 利用サービス

arxiv.jp, Google