SePPO: Semi-Policy Preference Optimization for Diffusion Alignment

要約

ヒューマン フィードバックからの強化学習 (RLHF) 手法は、ビジュアル生成用の拡散モデル (DM) を微調整する方法として登場しています。
ただし、一般的に使用されるオンポリシー戦略は報酬モデルの汎化機能によって制限される一方、オフポリシーアプローチでは、特にビジュアル生成タスクにおいて、人間が注釈を付けたペアの取得が困難な大量のデータが必要になります。
ポリシー上およびポリシー外の両方の RLHF の制限に対処するために、報酬モデルやペアの人間による注釈付きデータに依存せずに、DM を好みに合わせて調整する好みの最適化方法を提案します。
具体的には、Semi-Policy Preference Optimization (SePPO) 手法を導入します。
SePPO は、以前のチェックポイントを参照モデルとして活用しながら、それらを使用してポリシーに準拠した参照サンプルを生成し、優先ペアの「失われたイメージ」を置き換えます。
このアプローチにより、ポリシー外の「勝利イメージ」のみを使用して最適化することができます。
さらに、政策空間の探索を拡大する参照モデル選択の戦略を設計します。
注目すべきは、参照サンプルを単に学習の否定的な例として扱うわけではないということです。
代わりに、参照サンプルが画像に勝つ可能性があるか負ける可能性があるかを評価するアンカーベースの基準を設計し、生成された参照サンプルからモデルが選択的に学習できるようにします。
このアプローチにより、参照サンプルの品質の不確実性によって引き起こされるパフォーマンスの低下が軽減されます。
テキストから画像へのベンチマークとテキストからビデオへのベンチマークの両方で SePPO を検証します。
SePPO は、テキストから画像へのベンチマークでこれまでのすべてのアプローチを上回り、テキストからビデオへのベンチマークでも優れたパフォーマンスを示します。
コードは https://github.com/DwanZhang-AI/SePPO でリリースされます。

要約(オリジナル)

Reinforcement learning from human feedback (RLHF) methods are emerging as a way to fine-tune diffusion models (DMs) for visual generation. However, commonly used on-policy strategies are limited by the generalization capability of the reward model, while off-policy approaches require large amounts of difficult-to-obtain paired human-annotated data, particularly in visual generation tasks. To address the limitations of both on- and off-policy RLHF, we propose a preference optimization method that aligns DMs with preferences without relying on reward models or paired human-annotated data. Specifically, we introduce a Semi-Policy Preference Optimization (SePPO) method. SePPO leverages previous checkpoints as reference models while using them to generate on-policy reference samples, which replace ‘losing images’ in preference pairs. This approach allows us to optimize using only off-policy ‘winning images.’ Furthermore, we design a strategy for reference model selection that expands the exploration in the policy space. Notably, we do not simply treat reference samples as negative examples for learning. Instead, we design an anchor-based criterion to assess whether the reference samples are likely to be winning or losing images, allowing the model to selectively learn from the generated reference samples. This approach mitigates performance degradation caused by the uncertainty in reference sample quality. We validate SePPO across both text-to-image and text-to-video benchmarks. SePPO surpasses all previous approaches on the text-to-image benchmarks and also demonstrates outstanding performance on the text-to-video benchmarks. Code will be released in https://github.com/DwanZhang-AI/SePPO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google