SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models

要約

テキストから画像への生成モデルとして普及してきた拡散モデルは、テキストによるプロンプトに導かれ、高品質で内容の濃い画像を生成できる。しかし、入力プロンプトが簡潔な物語である場合、既存モデルでは意味理解や常識的推論に限界があり、低品質な画像生成が行われる。そこで、本研究では、訓練済みの拡散モデルに対して、意味理解と推論のためのアダプター（SUR-adapter）と呼ばれる、シンプルで効果的なパラメータ効率的な微調整アプローチを提案する。この目標を達成するために、我々はまず、57,000以上の意味的に補正されたマルチモーダルサンプルからなる新しいデータセットSURDを収集し、注釈を付ける。各サンプルは、単純な物語プロンプト、複雑なキーワードベースのプロンプト、および高品質の画像を含む。SUR-adapterが、テキストから画像への変換のための高品質なテキスト意味表現を構築するための強力な意味理解と推論能力を獲得できるように、知識蒸留を通じて大規模言語モデル（LLMs）の知識をSUR-adapterに伝達することで、物語プロンプトの意味表現を複雑プロンプトに合わせ、さらに、大規模言語モデル（LLM）の知識を伝達します。複数のLLMと一般的な事前学習済み拡散モデルを統合して実験を行い、画質を劣化させることなく拡散モデルが簡潔な自然言語を理解・推論できるようにする本アプローチの有効性を示す。本アプローチは、テキストから画像への拡散モデルをより使いやすく、より良いユーザーエクスペリエンスを実現できる。これは、本アプローチが、単純な物語プロンプトと複雑なキーワードベースのプロンプトの間の意味的ギャップを埋めることによって、ユーザーフレンドリーなテキストから画像生成モデルの開発をさらに進める可能性を秘めていることを示している。コードは https://github.com/Qrange-group/SUR-adapter で公開されています。

要約(オリジナル)

Diffusion models, which have emerged to become popular text-to-image generation models, can produce high-quality and content-rich images guided by textual prompts. However, there are limitations to semantic understanding and commonsense reasoning in existing models when the input prompts are concise narrative, resulting in low-quality image generation. To improve the capacities for narrative prompts, we propose a simple-yet-effective parameter-efficient fine-tuning approach called the Semantic Understanding and Reasoning adapter (SUR-adapter) for pre-trained diffusion models. To reach this goal, we first collect and annotate a new dataset SURD which consists of more than 57,000 semantically corrected multi-modal samples. Each sample contains a simple narrative prompt, a complex keyword-based prompt, and a high-quality image. Then, we align the semantic representation of narrative prompts to the complex prompts and transfer knowledge of large language models (LLMs) to our SUR-adapter via knowledge distillation so that it can acquire the powerful semantic understanding and reasoning capabilities to build a high-quality textual semantic representation for text-to-image generation. We conduct experiments by integrating multiple LLMs and popular pre-trained diffusion models to show the effectiveness of our approach in enabling diffusion models to understand and reason concise natural language without image quality degradation. Our approach can make text-to-image diffusion models easier to use with better user experience, which demonstrates our approach has the potential for further advancing the development of user-friendly text-to-image generation models by bridging the semantic gap between simple narrative prompts and complex keyword-based prompts. The code is released at https://github.com/Qrange-group/SUR-adapter.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL