If at First You Don’t Succeed, Try, Try Again: Faithful Diffusion-based Text-to-Image Generation by Selection

要約

優れた機能にもかかわらず、拡散ベースのテキストから画像への変換 (T2I) モデルは、テキスト プロンプトに対する忠実さに欠ける可能性があり、生成された画像には言及されたすべてのオブジェクト、属性、または関係が含まれていない可能性があります。
これらの問題を軽減するために、最近の研究では、モデルが入力プロンプトを利用する方法を変更することで、コストのかかる再トレーニングを行わずにモデルの忠実性を向上させるポストホックな方法が提案されています。
この研究では、一歩下がって、大規模な T2I 拡散モデルが通常想定されているよりも忠実であり、生成プロセスを操作することなく、複雑なプロンプトにも忠実な画像を生成できることを示します。
それに基づいて、代わりに忠実度を単純に候補選択問題として扱う方法を示し、テキスト プロンプトの候補画像を生成し、既存の T2I 評価を活用できる自動スコアリング システムに従って最適な画像を選択する簡単なパイプラインを導入します。
メトリクス。
さまざまなベンチマークに関するユーザー調査と定量的な比較を行うと、ポストホック拡張手法と比較して忠実性が一貫して向上しており、計算コストは​​同等かそれより低いことがわかります。
コードは \url{https://github.com/ExplainableML/ImageSelect} で入手できます。

要約(オリジナル)

Despite their impressive capabilities, diffusion-based text-to-image (T2I) models can lack faithfulness to the text prompt, where generated images may not contain all the mentioned objects, attributes or relations. To alleviate these issues, recent works proposed post-hoc methods to improve model faithfulness without costly retraining, by modifying how the model utilizes the input prompt. In this work, we take a step back and show that large T2I diffusion models are more faithful than usually assumed, and can generate images faithful to even complex prompts without the need to manipulate the generative process. Based on that, we show how faithfulness can be simply treated as a candidate selection problem instead, and introduce a straightforward pipeline that generates candidate images for a text prompt and picks the best one according to an automatic scoring system that can leverage already existing T2I evaluation metrics. Quantitative comparisons alongside user studies on diverse benchmarks show consistently improved faithfulness over post-hoc enhancement methods, with comparable or lower computational cost. Code is available at \url{https://github.com/ExplainableML/ImageSelect}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google