REMOT: A Region-to-Whole Framework for Realistic Human Motion Transfer

要約

ヒューマン ビデオ モーション トランスファー (HVMT) は、ソース人物の画像が与えられた場合に、運転者の動きを模倣する彼/彼女のビデオを生成することを目的としています。
HVMT の既存の方法は、主に Generative Adversarial Networks (GAN) を利用して、ソースの人物画像と各駆動ビデオ フレームから推定されたフローに基づいてワーピング操作を実行します。
ただし、これらの方法では、発信者と運転者のポーズ、スケール、シフトが劇的に異なるため、常に明らかなアーティファクトが生成されます。
これらの課題を克服するために、この論文では、GAN に基づく新しい領域から人間全体への MOtion Transfer (REMOT) フレームワークを提示します。
リアルなモーションを生成するために、REMOT はプログレッシブ生成パラダイムを採用しています。まず、フローベースのワーピングなしでドライビング ポーズの各ボディ パーツを生成し、次にすべてのパーツをドライビング モーションの完全な人物に合成します。
さらに、自然なグローバルな外観を維持するために、レイアウトに基づいて、ソースの人物のスケールと位置を運転者のスケールと位置に合わせるグローバル アライメント モジュールを設計します。
さらに、テクスチャの類似性に応じて人物の各部分を整列させるためのテクスチャ整列モジュールを提案します。
最後に、大規模な定量的および定性的な実験を通じて、REMOT は 2 つの公開ベンチマークで最先端の結果を達成しています。

要約(オリジナル)

Human Video Motion Transfer (HVMT) aims to, given an image of a source person, generate his/her video that imitates the motion of the driving person. Existing methods for HVMT mainly exploit Generative Adversarial Networks (GANs) to perform the warping operation based on the flow estimated from the source person image and each driving video frame. However, these methods always generate obvious artifacts due to the dramatic differences in poses, scales, and shifts between the source person and the driving person. To overcome these challenges, this paper presents a novel REgionto-whole human MOtion Transfer (REMOT) framework based on GANs. To generate realistic motions, the REMOT adopts a progressive generation paradigm: it first generates each body part in the driving pose without flow-based warping, then composites all parts into a complete person of the driving motion. Moreover, to preserve the natural global appearance, we design a Global Alignment Module to align the scale and position of the source person with those of the driving person based on their layouts. Furthermore, we propose a Texture Alignment Module to keep each part of the person aligned according to the similarity of the texture. Finally, through extensive quantitative and qualitative experiments, our REMOT achieves state-of-the-art results on two public benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google