Aligning Diffusion Models with Noise-Conditioned Perception

要約

人間の好みの最適化における最近の進歩は、当初は言語モデル (LM) のために開発されましたが、テキストから画像への拡散モデルにも有望であることが示され、プロンプトの位置合わせ、視覚的な魅力、およびユーザーの好みが強化されています。
LM とは異なり、拡散モデルは通常、ピクセルまたは VAE 空間で最適化されますが、人間の知覚とうまく一致しないため、好みの調整段階でのトレーニングが遅くなり、効率が低下します。
私たちは、これらの問題に対処するために、拡散モデルの U-Net 埋め込み空間で知覚目標を使用することを提案します。
私たちのアプローチには、この埋め込み空間内で Direct Preference Optimization (DPO)、Contrastive Preference Optimization (CPO)、および教師あり微調整 (SFT) を使用して Stable Diffusion 1.5 および XL を微調整することが含まれます。
この方法は、品質や計算コストなどのさまざまな指標において、標準的な潜在空間実装を大幅に上回ります。
SDXL の場合、私たちのアプローチは、コンピューティングを大幅に削減しながら、PartiPrompts データセット上のオリジナルのオープンソース SDXL-DPO に対して、60.8\% の一般的な優先度、62.2\% の視覚的な魅力、52.1\% のプロンプトフォローを提供します。
私たちのアプローチは、拡散モデルに対する人間の好みの調整の効率と品質を向上させるだけでなく、他の最適化手法と簡単に統合できます。
トレーニング コードと LoRA 重みはここから入手できます: https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1

要約(オリジナル)

Recent advancements in human preference optimization, initially developed for Language Models (LMs), have shown promise for text-to-image Diffusion Models, enhancing prompt alignment, visual appeal, and user preference. Unlike LMs, Diffusion Models typically optimize in pixel or VAE space, which does not align well with human perception, leading to slower and less efficient training during the preference alignment stage. We propose using a perceptual objective in the U-Net embedding space of the diffusion model to address these issues. Our approach involves fine-tuning Stable Diffusion 1.5 and XL using Direct Preference Optimization (DPO), Contrastive Preference Optimization (CPO), and supervised fine-tuning (SFT) within this embedding space. This method significantly outperforms standard latent-space implementations across various metrics, including quality and computational cost. For SDXL, our approach provides 60.8\% general preference, 62.2\% visual appeal, and 52.1\% prompt following against original open-sourced SDXL-DPO on the PartiPrompts dataset, while significantly reducing compute. Our approach not only improves the efficiency and quality of human preference alignment for diffusion models but is also easily integrable with other optimization techniques. The training code and LoRA weights will be available here: https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1

arxiv情報

提供元, 利用サービス

arxiv.jp, Google