Synthesizing Anyone, Anywhere, in Any Pose

要約

タイトル：どんなポーズでもどこでも誰でも合成できる

要約：本論文は、任意の領域の画像が与えられた場合に、全身の構図を合成するという課題に取り組む。現在の方法は、極端なポーズ、隠れた物体、複雑な背景などに対処するのが困難であり、これまでに十分に研究が行われていなかった。本論文の主な貢献は、TriA-GANであり、このGANはキーポイントに基づくGANになる。TriA-GANはどんなポーズでもどこでも誰でも合成できる。TriA-GANの特徴は、投影されたGANを用いたシンプルなジェネレータ構造である。キーポイントを用いたTriA-GANは、DensePoseを使った方法に比べて、条件付き情報が少なくても高い合成品質を実現できる。さらに、本研究では、生成された人物像のラテント空間は、標準の無条件編集技術と互換性があることも示された。

要約(オリジナル)

We address the task of in-the-wild human figure synthesis, where the primary goal is to synthesize a full body given any region in any image. In-the-wild human figure synthesis has long been a challenging and under-explored task, where current methods struggle to handle extreme poses, occluding objects, and complex backgrounds. Our main contribution is TriA-GAN, a keypoint-guided GAN that can synthesize Anyone, Anywhere, in Any given pose. Key to our method is projected GANs combined with a well-crafted training strategy, where our simple generator architecture can successfully handle the challenges of in-the-wild full-body synthesis. We show that TriA-GAN significantly improves over previous in-the-wild full-body synthesis methods, all while requiring less conditional information for synthesis (keypoints vs. DensePose). Finally, we show that the latent space of \methodName is compatible with standard unconditional editing techniques, enabling text-guided editing of generated human figures.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI