Context Canvas: Enhancing Text-to-Image Diffusion Models with Knowledge Graph-Based RAG

要約

グラフベースの RAG を組み込むことで、テキストから画像へのモデルの機能を強化する新しいアプローチを紹介します。
私たちのシステムは、ナレッジ グラフから詳細な文字情報と関係データを動的に取得し、視覚的に正確で文脈に富んだ画像の生成を可能にします。
この機能は、データセットの制約により、複雑な主題や文化的に特殊な主題を正確に描写することが困難になることが多い既存の T2I モデルの制限を大幅に改善します。
さらに、グラフからの豊富なコンテキストを活用して修正をガイドし、ビジュアル出力の一貫性と忠実性を確保するためのテキストから画像へのモデルの新しい自己修正メカニズムを提案します。
私たちの定性的および定量的実験では、Context Canvas が Flux、Stable Diffusion、DALL-E などの一般的なモデルの機能を大幅に強化し、きめ細かい画像編集タスクのための ControlNet の機能を向上させることを示しています。
私たちの知る限り、Context Canvas は、T2I モデルの強化におけるグラフベースの RAG の最初のアプリケーションであり、高忠実度でコンテキストを認識した多面的な画像を生成するための大幅な進歩を表しています。

要約(オリジナル)

We introduce a novel approach to enhance the capabilities of text-to-image models by incorporating a graph-based RAG. Our system dynamically retrieves detailed character information and relational data from the knowledge graph, enabling the generation of visually accurate and contextually rich images. This capability significantly improves upon the limitations of existing T2I models, which often struggle with the accurate depiction of complex or culturally specific subjects due to dataset constraints. Furthermore, we propose a novel self-correcting mechanism for text-to-image models to ensure consistency and fidelity in visual outputs, leveraging the rich context from the graph to guide corrections. Our qualitative and quantitative experiments demonstrate that Context Canvas significantly enhances the capabilities of popular models such as Flux, Stable Diffusion, and DALL-E, and improves the functionality of ControlNet for fine-grained image editing tasks. To our knowledge, Context Canvas represents the first application of graph-based RAG in enhancing T2I models, representing a significant advancement for producing high-fidelity, context-aware multi-faceted images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google