LAION-SG: An Enhanced Large-Scale Dataset for Training Complex Image-Text Models with Structural Annotations

要約

テキストから画像への (T2I) 生成における最近の進歩により、テキストから高品質の画像を生成することに目覚ましい成功を収めています。
ただし、既存の T2I モデルは、複数のオブジェクトと複雑な関係を含む合成画像生成のパフォーマンスが低下しています。
この問題は、プロンプトのみを備えた正確なオブジェクト間関係のアノテーションが欠如している、画像とテキストのペアの既存のデータセットの制限に起因すると考えられます。
この問題に対処するために、私たちは、シーン グラフ (SG) の高品質な構造アノテーションを備えた大規模なデータセットである LAION-SG を構築しました。これは、複数のオブジェクトの属性と関係を正確に記述し、複雑なシーンの意味構造を効果的に表現します。
LAION-SG に基づいて、新しい基礎モデル SDXL-SG をトレーニングして、構造アノテーション情報を生成プロセスに組み込みます。
広範な実験により、LAION-SG でトレーニングされた高度なモデルは、既存のデータセットのモデルと比較して、複雑なシーンの生成において大幅なパフォーマンスの向上を誇ることがわかりました。
また、合成画像生成に関するモデルを評価するベンチマークである CompSG-Bench も紹介し、この領域の新しい標準を確立します。

要約(オリジナル)

Recent advances in text-to-image (T2I) generation have shown remarkable success in producing high-quality images from text. However, existing T2I models show decayed performance in compositional image generation involving multiple objects and intricate relationships. We attribute this problem to limitations in existing datasets of image-text pairs, which lack precise inter-object relationship annotations with prompts only. To address this problem, we construct LAION-SG, a large-scale dataset with high-quality structural annotations of scene graphs (SG), which precisely describe attributes and relationships of multiple objects, effectively representing the semantic structure in complex scenes. Based on LAION-SG, we train a new foundation model SDXL-SG to incorporate structural annotation information into the generation process. Extensive experiments show advanced models trained on our LAION-SG boast significant performance improvements in complex scene generation over models on existing datasets. We also introduce CompSG-Bench, a benchmark that evaluates models on compositional image generation, establishing a new standard for this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google