T2I-R1: Reinforcing Image Generation with Collaborative Semantic-level and Token-level CoT

要約

大規模な言語モデルの最近の進歩により、チェーンオブシュー（COT）と補強学習（RL）がパフォーマンスを改善できる方法を実証しています。
ただし、このような推論戦略を視覚生成ドメインに適用することは、ほとんど未踏のままです。
このホワイトペーパーでは、BiレベルのCOT推論プロセスでRLを搭載した新しい推論強化テキストから画像の生成モデルであるT2I-R1を紹介します。
具体的には、生成のさまざまな段階を強化するために使用できる2つのレベルのCOTを特定します。（1）プロンプトの高レベル計画のためのセマンティックレベルのCOT、（2）パッチごとのパッチごとの低レベルピクセル処理用のトークンレベルのCOT。
これらの2つのレベルのCOTをより適切に調整するために、同じトレーニングステップ内で両方の生成COTをシームレスに最適化する世代の報酬のアンサンブルでBICOT-GRPOを紹介します。
ベースラインモデルのJanus-Proに推論戦略を適用することにより、T2I-Compbenchの13％の改善と賢明なベンチマークの19％の改善で優れたパフォーマンスを達成し、最先端のモデルフラックスを上回ります。
コードは、https：//github.com/caraj7/t2i-r1で入手できます

要約(オリジナル)

Recent advancements in large language models have demonstrated how chain-of-thought (CoT) and reinforcement learning (RL) can improve performance. However, applying such reasoning strategies to the visual generation domain remains largely unexplored. In this paper, we present T2I-R1, a novel reasoning-enhanced text-to-image generation model, powered by RL with a bi-level CoT reasoning process. Specifically, we identify two levels of CoT that can be utilized to enhance different stages of generation: (1) the semantic-level CoT for high-level planning of the prompt and (2) the token-level CoT for low-level pixel processing during patch-by-patch generation. To better coordinate these two levels of CoT, we introduce BiCoT-GRPO with an ensemble of generation rewards, which seamlessly optimizes both generation CoTs within the same training step. By applying our reasoning strategies to the baseline model, Janus-Pro, we achieve superior performance with 13% improvement on T2I-CompBench and 19% improvement on the WISE benchmark, even surpassing the state-of-the-art model FLUX.1. Code is available at: https://github.com/CaraJ7/T2I-R1

arxiv情報

提供元, 利用サービス

arxiv.jp, Google