Enhancing Compositional Text-to-Image Generation with Reliable Random Seeds

要約

テキストからイメージへの拡散モデルは、任意のテキストプロンプトから現実的な画像を生成する際に顕著な能力を示しています。
しかし、彼らはしばしば、「2匹の犬」や「ボウルの右側にあるペンギン」などの組成プロンプトに対して一貫性のない結果をもたらします。
これらの矛盾を理解することは、信頼できる画像生成にとって重要です。
この論文では、これらの矛盾における初期ノイズの重要な役割を強調しています。特定のノイズパターンは、他のノイズプロンプトよりも信頼性が高くなります。
私たちの分析では、異なる初期のランダムシードがモデルを導く傾向があることが、オブジェクトを明確な画像領域に配置する傾向があり、シードに関連するカメラアングルと画像構成の特定のパターンに付着する可能性があります。
モデルの組成能力を向上させるために、これらの信頼できるケースをマイニングする方法を提案し、手動注釈を必要とせずに生成された画像のキュレーションされたトレーニングセットをもたらします。
これらの生成された画像のテキストから画像へのモデルを微調整することにより、それらの組成能力を大幅に強化します。
数値組成の場合、安定した拡散とPixart- {\ alpha}でそれぞれ29.3％と19.5％の相対的な増加が観察されます。
空間構成の利益はさらに大きな利益を得ており、安定した拡散で60.7％、Pixart- {\ alpha}で21.1％が見られます。

要約(オリジナル)

Text-to-image diffusion models have demonstrated remarkable capability in generating realistic images from arbitrary text prompts. However, they often produce inconsistent results for compositional prompts such as ‘two dogs’ or ‘a penguin on the right of a bowl’. Understanding these inconsistencies is crucial for reliable image generation. In this paper, we highlight the significant role of initial noise in these inconsistencies, where certain noise patterns are more reliable for compositional prompts than others. Our analyses reveal that different initial random seeds tend to guide the model to place objects in distinct image areas, potentially adhering to specific patterns of camera angles and image composition associated with the seed. To improve the model’s compositional ability, we propose a method for mining these reliable cases, resulting in a curated training set of generated images without requiring any manual annotation. By fine-tuning text-to-image models on these generated images, we significantly enhance their compositional capabilities. For numerical composition, we observe relative increases of 29.3% and 19.5% for Stable Diffusion and PixArt-{\alpha}, respectively. Spatial composition sees even larger gains, with 60.7% for Stable Diffusion and 21.1% for PixArt-{\alpha}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google