Human-Feedback Efficient Reinforcement Learning for Online Diffusion Model Finetuning

要約

安定拡散 (SD) の微調整による制御可能な生成は、忠実度、安全性、および人間のガイダンスとの整合性を向上させることを目的としています。
ヒューマンフィードバック手法による既存の強化学習は、通常、事前定義されたヒューリスティックな報酬関数や、大規模なデータセットに基づいて構築された事前トレーニングされた報酬モデルに依存しており、そのようなデータの収集がコストがかかる、または困難なシナリオへの適用は限られています。
人間のフィードバックを効果的かつ効率的に活用するために、モデル学習中にその場で収集されたオンラインの人間のフィードバックを活用するフレームワーク HERO を開発しました。
具体的には、HERO は 2 つの重要なメカニズムを備えています。(1) 人間のフィードバックを取得し、微調整のための有益な学習信号を提供するオンライン トレーニング手法であるフィードバック整合表現学習と、(2) から画像を生成するフィードバック誘導画像生成
SD の洗練された初期化サンプルにより、評価者の意図に向けたより迅速な収束が可能になります。
HERO は、既存の最良の方法と比較して、体の部位の異常を修正するためのオンライン フィードバックが 4 倍効率的であることを実証しました。
さらに、実験では、HERO がわずか 0.5,000 件のオンライン フィードバックで推論、カウント、パーソナライゼーション、NSFW コンテンツの削減などのタスクを効果的に処理できることが示されています。

要約(オリジナル)

Controllable generation through Stable Diffusion (SD) fine-tuning aims to improve fidelity, safety, and alignment with human guidance. Existing reinforcement learning from human feedback methods usually rely on predefined heuristic reward functions or pretrained reward models built on large-scale datasets, limiting their applicability to scenarios where collecting such data is costly or difficult. To effectively and efficiently utilize human feedback, we develop a framework, HERO, which leverages online human feedback collected on the fly during model learning. Specifically, HERO features two key mechanisms: (1) Feedback-Aligned Representation Learning, an online training method that captures human feedback and provides informative learning signals for fine-tuning, and (2) Feedback-Guided Image Generation, which involves generating images from SD’s refined initialization samples, enabling faster convergence towards the evaluator’s intent. We demonstrate that HERO is 4x more efficient in online feedback for body part anomaly correction compared to the best existing method. Additionally, experiments show that HERO can effectively handle tasks like reasoning, counting, personalization, and reducing NSFW content with only 0.5K online feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google