Prioritize Denoising Steps on Diffusion Model Preference Alignment via Explicit Denoised Distribution Estimation

要約

拡散モデルはテキストから画像への生成において目覚ましい成功を収めており、これらのモデルの位置合わせ方法がますます重要になっています。
主な課題は、優先ラベルがまばらであることです。優先ラベルは通常、ノイズ除去軌跡の終点でのみ利用可能です。
これにより、これらのまばらなラベルに基づいてノイズ除去ステップ全体でクレジットを割り当てる方法という問題が生じます。
この論文では、クレジット割り当ての新しい方法であるノイズ除去分布推定 (DDE) を提案します。
補助モデルや手作りのスキームに依存する以前のアプローチとは異なり、DDE は戦略をより明示的に導き出します。
提案された DDE は、各ステップの観点から端末のノイズ除去された分布を直接推定します。
2 つの推定戦略が装備されており、単一のモデル推論でノイズ除去軌跡全体を表すことができます。
理論的および経験的に、DDE はノイズ除去軌道の中間部分の最適化を優先し、その結果、斬新で効果的なクレジット割り当てスキームが得られることを示します。
広範な実験により、私たちのアプローチが量的および質的に優れたパフォーマンスを達成することが実証されました。

要約(オリジナル)

Diffusion models have shown remarkable success in text-to-image generation, making alignment methods for these models increasingly important. A key challenge is the sparsity of preference labels, which are typically available only at the terminal of denoising trajectories. This raises the issue of how to assign credit across denoising steps based on these sparse labels. In this paper, we propose Denoised Distribution Estimation (DDE), a novel method for credit assignment. Unlike previous approaches that rely on auxiliary models or hand-crafted schemes, DDE derives its strategy more explicitly. The proposed DDE directly estimates the terminal denoised distribution from the perspective of each step. It is equipped with two estimation strategies and capable of representing the entire denoising trajectory with a single model inference. Theoretically and empirically, we show that DDE prioritizes optimizing the middle part of the denoising trajectory, resulting in a novel and effective credit assignment scheme. Extensive experiments demonstrate that our approach achieves superior performance, both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google