An Identity-Preserved Framework for Human Motion Transfer

要約

タイトル：身体運動の転移のための身元維持フレームワーク

要約：
– 人間の身体運動転移（HMT）は、ソースの身体運動を模倣することで、ターゲット対象のビデオクリップを生成することを目的としている。
– 以前の方法は、高品質のビデオを合成することに成功しているが、ソースとターゲットの運動に個別化された運動情報（例：微細で高周波の動きの詳細）の影響を無視している。
– この問題を解決するために、筆者らはアイデンティティを維持するHMTネットワーク（IDPres）を提案している。IDpresは骨格ベースの方法に沿ってパイプラインを持ち、個別化された運動と骨格情報を取り入れて運動表現を強化し、生成されたビデオの運動の現実性を改善する。
– 個別化された運動を取り入れた方法により、微粒子レベルでの運動の分離と合成に重点を置いている。
– 潜在空間内で表現能力を向上させ、IDPresのトレーニングを容易にするために、異なる表現を同時に分離して正確な理想的な運動を合成することができるトレーニングスキームを設計している。
– さらに、生成されたビデオ内のアイデンティティ情報（個別化された運動と骨格情報の両方）の比率を評価するための評価指標は利用可能ではないため、筆者らは歩容認識に基づくアイデンティティスコア（IDScore）という新しい定量的尺度を提案している。
– 筆者らは、101人のソロダンスビデオからなる公開ドメインのデータセットであるDancer101を収集し、提案手法を評価している。包括的な実験により、提案手法が再構築精度と現実的な運動の点で最先端の方法を上回ることが示されている。

要約(オリジナル)

Human motion transfer (HMT) aims to generate a video clip for the target subject by imitating the source subject’s motion. Although previous methods have achieved remarkable results in synthesizing good-quality videos, those methods omit the effects of individualized motion information from the source and target motions, \textit{e.g.}, fine and high-frequency motion details, on the realism of the motion in the generated video. To address this problem, we propose an identity-preserved HMT network (\textit{IDPres}), which follows the pipeline of the skeleton-based method. \textit{IDpres} takes the individualized motion and skeleton information to enhance motion representations and improve the reality of motions in the generated videos. With individualized motion, our method focuses on fine-grained disentanglement and synthesis of motion. In order to improve the representation capability in latent space and facilitate the training of \textit{IDPres}, we design a training scheme, which allows \textit{IDPres} to disentangle different representations simultaneously and control them to synthesize ideal motions accurately. Furthermore, to our best knowledge, there are no available metrics for evaluating the proportion of identity information (both individualized motion and skeleton information) in the generated video. Therefore, we propose a novel quantitative metric called Identity Score (\textit{IDScore}) based on gait recognition. We also collected a dataset with 101 subjects’ solo-dance videos from the public domain, named $Dancer101$, to evaluate the method. The comprehensive experiments show the proposed method outperforms state-of-the-art methods in terms of reconstruction accuracy and realistic motion.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI