KPE: Keypoint Pose Encoding for Transformer-based Image Generation

要約

トランスフォーマーは最近、テキスト入力から高品質な画像を生成することが示されている。しかし、スケルトン画像トークンを用いた既存のポーズ調整法は、計算効率が悪く、低品質の画像を生成してしまう。そこで、我々は新しい手法、Keypoint Pose Encoding (KPE) を提案します。KPEは10倍以上のメモリ効率と73%以上の高速化を実現し、ポーズを条件としたテキスト入力からの高画質な画像生成を可能にします。KPEは10倍以上のメモリ効率と73%以上の高速化を実現し、ポーズを条件としたテキスト入力からの画像生成を可能にしました。さらに、ターゲット画像領域や画像解像度の変化に対して不変であるため、高解像度画像への拡張が容易であるという利点もあります。我々は、DeepFashionデータセットから得られた写実的な多人数画像を生成することで、KPEの汎用性を実証している。また、生成された人物画像のエラー検出に有効な評価手法People Count Error (PCE)を紹介する。

要約(オリジナル)

Transformers have recently been shown to generate high quality images from text input. However, the existing method of pose conditioning using skeleton image tokens is computationally inefficient and generate low quality images. Therefore we propose a new method; Keypoint Pose Encoding (KPE); KPE is 10 times more memory efficient and over 73% faster at generating high quality images from text input conditioned on the pose. The pose constraint improves the image quality and reduces errors on body extremities such as arms and legs. The additional benefits include invariance to changes in the target image domain and image resolution, making it easily scalable to higher resolution images. We demonstrate the versatility of KPE by generating photorealistic multiperson images derived from the DeepFashion dataset. We also introduce a evaluation method People Count Error (PCE) that is effective in detecting error in generated human images.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL