UPGPT: Universal Diffusion Model for Person Image Generation, Editing and Pose Transfer

要約

StableDiffusion などの Text-to-image モデル (T2I) は、高品質の人物画像を生成するために使用されてきました。
ただし、生成プロセスのランダムな性質により、人物の外観は異なります。
同じテキスト プロンプトを使用しているにもかかわらず、ポーズ、顔、服装が異なります。
外観に一貫性がないため、T2I はポーズ転送には適していません。
私たちは、テキスト、ポーズ、視覚的なプロンプトを受け入れるマルチモーダル拡散モデルを提案することで、この問題に対処します。
私たちのモデルは、生成、ポーズの転送、マスクなしの編集など、人物画像のすべてのタスクを実行する最初の統一された方法です。
また、私たちは、小次元の 3D ボディ モデル パラメータを直接使用して、人の外観を維持しながらポーズとカメラ ビューを同時に補間するという新しい機能を実証する先駆者でもあります。

要約(オリジナル)

Text-to-image models (T2I) such as StableDiffusion have been used to generate high quality images of people. However, due to the random nature of the generation process, the person has a different appearance e.g. pose, face, and clothing, despite using the same text prompt. The appearance inconsistency makes T2I unsuitable for pose transfer. We address this by proposing a multimodal diffusion model that accepts text, pose, and visual prompting. Our model is the first unified method to perform all person image tasks – generation, pose transfer, and mask-less edit. We also pioneer using small dimensional 3D body model parameters directly to demonstrate new capability – simultaneous pose and camera view interpolation while maintaining the person’s appearance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google