Enhancing Compositional Text-to-Image Generation with Reliable Random Seeds

要約

テキストから画像への拡散モデルは、任意のテキスト プロンプトからリアルな画像を生成する際に顕著な能力を実証しています。
ただし、「2 匹の犬」や「ボウルの右側のペンギン」などの構成プロンプトに対しては、一貫性のない結果が生成されることがよくあります。
信頼性の高い画像生成には、これらの不一致を理解することが重要です。
この論文では、特定のノイズ パターンが他のノイズ パターンよりも作曲プロンプトに対して信頼性が高いという、これらの不一致における初期ノイズの重要な役割に焦点を当てます。
私たちの分析により、さまざまな初期ランダム シードがモデルをガイドしてオブジェクトを個別の画像領域に配置する傾向があり、シードに関連付けられたカメラ アングルと画像構成の特定のパターンに従う可能性があることが明らかになりました。
モデルの構成能力を向上させるために、これらの信頼できるケースをマイニングする方法を提案します。これにより、手動の注釈を必要とせずに、生成された画像の厳選されたトレーニング セットが得られます。
これらの生成された画像のテキストから画像へのモデルを微調整することで、その構成機能が大幅に強化されます。
数値構成では、安定拡散と PixArt-{\alpha} でそれぞれ 29.3% と 19.5% の相対的な増加が観察されます。
空間構成では、Stable Diffusion で 60.7%、PixArt-{\alpha} で 21.1% とさらに大きな増加が見られます。

要約(オリジナル)

Text-to-image diffusion models have demonstrated remarkable capability in generating realistic images from arbitrary text prompts. However, they often produce inconsistent results for compositional prompts such as ‘two dogs’ or ‘a penguin on the right of a bowl’. Understanding these inconsistencies is crucial for reliable image generation. In this paper, we highlight the significant role of initial noise in these inconsistencies, where certain noise patterns are more reliable for compositional prompts than others. Our analyses reveal that different initial random seeds tend to guide the model to place objects in distinct image areas, potentially adhering to specific patterns of camera angles and image composition associated with the seed. To improve the model’s compositional ability, we propose a method for mining these reliable cases, resulting in a curated training set of generated images without requiring any manual annotation. By fine-tuning text-to-image models on these generated images, we significantly enhance their compositional capabilities. For numerical composition, we observe relative increases of 29.3% and 19.5% for Stable Diffusion and PixArt-{\alpha}, respectively. Spatial composition sees even larger gains, with 60.7% for Stable Diffusion and 21.1% for PixArt-{\alpha}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google