StoryGPT-V: Large Language Models as Consistent Story Visualizers

要約

最近の生成モデルは、テキストプロンプトに基づいた現実的で視覚的に心地よい画像を生成する上で印象的な機能を実証しています。
それにもかかわらず、ストーリーの視覚化のより複雑なタスクにこれらのモデルを適用することに大きな課題が残っています。
フレームの説明で代名詞（彼、彼女、彼女、彼ら）を解決する必要があるため、つまり、anaphora解像度、およびフレーム全体で一貫した文字と背景合成を確保する必要があるためです。
しかし、新たな大規模な言語モデル（LLM）は、曖昧な参照をナビゲートし、広範なシーケンスを処理するための堅牢な推論能力を示しています。
したがって、\ emphing {storygpt-v}を導入します。これは、潜在的な拡散（LDM）とLLMのメリットを活用して、与えられたストーリーの説明に基づいた一貫した高品質のキャラクターを備えた画像を作成します。
まず、キャラクター認識LDMを訓練します。これは、文字生成の精度と忠実さを高めることを目的とした、キャラクターが介在したセマンティック埋め込みを入力として使用し、文字セグメンテーションマスクを使用してクロスアテンションマップの監督を含みます。
第2段階では、LLMの出力と、第1段階モデル​​の入力スペースに存在するキャラクターの高度埋め込みの間のアラインメントを有効にします。
これは、LLMの推論能力を活用して、曖昧な参照に対処し、コンテキストを記憶するための理解能力に対処します。
2つの視覚的なストーリー視覚化ベンチマークで包括的な実験を実施します。
私たちのモデルは、優れた定量的結果を報告し、メモリ消費量が少ない驚くべき品質の正確なキャラクターを一貫して生成します。
私たちのコードは、\ href {https://xiaoqian-shen.github.io/storygpt-v} {https://xiaoqian-shen.github.io/storygpt-vで公開されています。

要約(オリジナル)

Recent generative models have demonstrated impressive capabilities in generating realistic and visually pleasing images grounded on textual prompts. Nevertheless, a significant challenge remains in applying these models for the more intricate task of story visualization. Since it requires resolving pronouns (he, she, they) in the frame descriptions, i.e., anaphora resolution, and ensuring consistent characters and background synthesis across frames. Yet, the emerging Large Language Model (LLM) showcases robust reasoning abilities to navigate through ambiguous references and process extensive sequences. Therefore, we introduce \emph{StoryGPT-V}, which leverages the merits of the latent diffusion (LDM) and LLM to produce images with consistent and high-quality characters grounded on given story descriptions. First, we train a character-aware LDM, which takes character-augmented semantic embedding as input and includes the supervision of the cross-attention map using character segmentation masks, aiming to enhance character generation accuracy and faithfulness. In the second stage, we enable an alignment between the output of LLM and the character-augmented embedding residing in the input space of the first-stage model. This harnesses the reasoning ability of LLM to address ambiguous references and the comprehension capability to memorize the context. We conduct comprehensive experiments on two visual story visualization benchmarks. Our model reports superior quantitative results and consistently generates accurate characters of remarkable quality with low memory consumption. Our code is publicly available at: \href{https://xiaoqian-shen.github.io/StoryGPT-V}{https://xiaoqian-shen.github.io/StoryGPT-V}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google