Policy Optimized Text-to-Image Pipeline Design

要約

テキストからイメージの生成は、単一のモノリシックモデルを超えて複雑なマルチコンポーネントパイプラインに進化しています。
これらは、微調整された発電機、アダプター、アップスケーリングブロック、さらには編集手順を組み合わせて、画質の大幅な改善をもたらします。
ただし、それらの効果的な設計には、実質的な専門知識が必要です。
最近のアプローチでは、大規模な言語モデル（LLM）を通じてこのプロセスを自動化する際に有望であることが示されていますが、2つの重要な制限に悩まされています。数百の事前定義されたパイプラインで画像を生成することからの広範な計算要件と、記憶されたトレーニングの例を超えた一般化が不十分です。
これらの非効率性に対処する新しい強化学習ベースのフレームワークを紹介します。
私たちのアプローチは、最初に、プロンプトワークフローの組み合わせから画質スコアを直接予測できる報酬モデルのアンサンブルをトレーニングし、トレーニング中の費用のかかる画像生成の必要性を排除します。
次に、2フェーズトレーニング戦略を実装します。初期ワークフロー語彙トレーニングに続いて、GRPOベースの最適化を行い、モデルをワークフロースペースの高性能領域に導きます。
さらに、初期モデルとGRPOチューニングされたモデルの間のパスに沿って外挿する分類器のないガイダンスベースの強化技術を組み込み、出力品質をさらに向上させます。
一連の比較を通じてアプローチを検証し、既存のベースラインと比較して、多様性を高めて新しいフローを成功裏に作成し、優れた画質につながることを示しています。

要約(オリジナル)

Text-to-image generation has evolved beyond single monolithic models to complex multi-component pipelines. These combine fine-tuned generators, adapters, upscaling blocks and even editing steps, leading to significant improvements in image quality. However, their effective design requires substantial expertise. Recent approaches have shown promise in automating this process through large language models (LLMs), but they suffer from two critical limitations: extensive computational requirements from generating images with hundreds of predefined pipelines, and poor generalization beyond memorized training examples. We introduce a novel reinforcement learning-based framework that addresses these inefficiencies. Our approach first trains an ensemble of reward models capable of predicting image quality scores directly from prompt-workflow combinations, eliminating the need for costly image generation during training. We then implement a two-phase training strategy: initial workflow vocabulary training followed by GRPO-based optimization that guides the model toward higher-performing regions of the workflow space. Additionally, we incorporate a classifier-free guidance based enhancement technique that extrapolates along the path between the initial and GRPO-tuned models, further improving output quality. We validate our approach through a set of comparisons, showing that it can successfully create new flows with greater diversity and lead to superior image quality compared to existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google