Cross-view Masked Diffusion Transformers for Person Image Synthesis

要約

X-MDPT ($underline{Cross}$-view $-asked $underline{M}$iffusion $underline{P}$rediction $underline{T}$ransformers) は、ポーズガイド付き人物画像生成のために設計された新しい拡散モデルである。X-MDPTは、既存の研究で一般的に使用されているUnet構造とは異なり、潜在パッチ上で動作するマスクされた拡散変換器を採用することで差別化を図っている。このモデルは3つの主要なモジュールから構成される：1)ノイズ除去拡散変換器、2)拡散処理のために条件を単一のベクトルに集約する集約ネットワーク、3)参照画像からの意味情報を用いて表現学習を強化するマスク交差予測モジュール。X-MDPTはスケーラビリティを示し、より大きなモデルでFID、SSIM、LPIPSを改善する。シンプルな設計にもかかわらず、我々のモデルは、学習パラメータ、学習時間、推論速度の点で効率性を示しながら、DeepFashionデータセットにおいて最先端のアプローチを凌駕している。我々のコンパクトな33MBのモデルは、7.42のFIDを達成し、わずか$11times$少ないパラメータを用いて、先行するUnet潜在拡散アプローチ（FID 8.07）を上回る。また、我々の最良のモデルは、$frac{2}{3}$ のパラメータでピクセルベースの拡散を上回り、$5.43 ㎤$の高速推論を達成した。コードはhttps://github.com/trungpx/xmdpt。

要約(オリジナル)

We present X-MDPT ($\underline{Cross}$-view $\underline{M}$asked $\underline{D}$iffusion $\underline{P}$rediction $\underline{T}$ransformers), a novel diffusion model designed for pose-guided human image generation. X-MDPT distinguishes itself by employing masked diffusion transformers that operate on latent patches, a departure from the commonly-used Unet structures in existing works. The model comprises three key modules: 1) a denoising diffusion Transformer, 2) an aggregation network that consolidates conditions into a single vector for the diffusion process, and 3) a mask cross-prediction module that enhances representation learning with semantic information from the reference image. X-MDPT demonstrates scalability, improving FID, SSIM, and LPIPS with larger models. Despite its simple design, our model outperforms state-of-the-art approaches on the DeepFashion dataset while exhibiting efficiency in terms of training parameters, training time, and inference speed. Our compact 33MB model achieves an FID of 7.42, surpassing a prior Unet latent diffusion approach (FID 8.07) using only $11\times$ fewer parameters. Our best model surpasses the pixel-based diffusion with $\frac{2}{3}$ of the parameters and achieves $5.43 \times$ faster inference. The code is available at https://github.com/trungpx/xmdpt.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL