Scalable Ranked Preference Optimization for Text-to-Image Generation

要約

Direct Preference Optimization (DPO) は、テキストから画像への (T2I) モデルを人間のフィードバックに合わせて調整するための強力なアプローチとして登場しました。
残念ながら、T2I モデルへの DPO の適用を成功させるには、大規模なデータセット (たとえば、人間の好みの注釈が付けられた何百万もの生成されたペア画像) を収集してラベルを付けるために、膨大な量のリソースが必要です。
さらに、T2I モデルの急速な改善により画像の品質が向上するため、これらの人間の好みのデータセットはすぐに古くなってしまう可能性があります。
この研究では、DPO トレーニング用に大規模で完全に合成されたデータセットを収集するためのスケーラブルなアプローチを調査します。
具体的には、事前にトレーニングされた報酬関数を使用してペア画像の好みが生成されるため、アノテーション プロセスに人間が関与する必要がなくなり、データセットの収集効率が大幅に向上します。
さらに、そのようなデータセットにより、複数のモデルにわたる予測を平均化し、ペアごとの選好とは対照的にランク付けされた選好を収集できることを実証します。
さらに、ランキング フィードバックを使用して DPO ベースの手法を強化するために RankDPO を導入します。
合成的に生成された嗜好データセット「Syn-Pic」を使用して SDXL および SD3-Medium モデルに RankDPO を適用すると、プロンプト追従性 (T2I-Compbench、GenEval、DPG-Bench などのベンチマークで) とビジュアル品質 (ユーザー調査による) の両方が向上します。
。
このパイプラインは、テキストから画像へのモデルのパフォーマンスを向上させるための、より優れた設定データセットを開発するための実用的でスケーラブルなソリューションを提供します。

要約(オリジナル)

Direct Preference Optimization (DPO) has emerged as a powerful approach to align text-to-image (T2I) models with human feedback. Unfortunately, successful application of DPO to T2I models requires a huge amount of resources to collect and label large-scale datasets, e.g., millions of generated paired images annotated with human preferences. In addition, these human preference datasets can get outdated quickly as the rapid improvements of T2I models lead to higher quality images. In this work, we investigate a scalable approach for collecting large-scale and fully synthetic datasets for DPO training. Specifically, the preferences for paired images are generated using a pre-trained reward function, eliminating the need for involving humans in the annotation process, greatly improving the dataset collection efficiency. Moreover, we demonstrate that such datasets allow averaging predictions across multiple models and collecting ranked preferences as opposed to pairwise preferences. Furthermore, we introduce RankDPO to enhance DPO-based methods using the ranking feedback. Applying RankDPO on SDXL and SD3-Medium models with our synthetically generated preference dataset “Syn-Pic” improves both prompt-following (on benchmarks like T2I-Compbench, GenEval, and DPG-Bench) and visual quality (through user studies). This pipeline presents a practical and scalable solution to develop better preference datasets to enhance the performance of text-to-image models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google