Generating Coherent Sequences of Visual Illustrations for Real-World Manual Tasks

要約

レシピやハウツーガイドなどの複数ステップの説明では、説明ステップに付随する一連の画像などの視覚補助が大いに役立ちます。
Large Language Model (LLM) は一貫したテキスト ステップの生成に熟達していますが、Large Vision/Language Model (LVLM) は付随する画像シーケンスを生成する能力が劣っています。
最も難しい点は、生成された各画像が、関連するテキストのステップ指示に準拠している必要があるだけでなく、シーケンス内の以前の画像と視覚的に一貫している必要があることです。
この問題に対処するために、我々は、潜在拡散モデル (LDM) と LLM を統合してシーケンスをキャプションに変換し、シーケンスの意味論的な一貫性を維持する一貫した画像シーケンスを生成するアプローチを提案します。
さらに、画像シーケンスの視覚的な一貫性を維持するために、関連するステップで以前に生成された画像からの潜在ベクトル反復で逆拡散プロセスを初期化するコピー メカニズムを導入します。
どちらの戦略も、一連の命令ステップに基づいて逆拡散プロセスを条件付けし、現在のイメージの内容を前の命令ステップおよび対応するイメージに結び付けます。
実験によると、提案されたアプローチは 46.6% のケースで人間に好まれ、2 番目に良い方法の場合は 26.6% であることが示されています。
さらに、自動メトリクスは、提案された方法が両方のドメインのステップ全体で意味的な一貫性と視覚的な一貫性を維持していることを示しました。

要約(オリジナル)

Multistep instructions, such as recipes and how-to guides, greatly benefit from visual aids, such as a series of images that accompany the instruction steps. While Large Language Models (LLMs) have become adept at generating coherent textual steps, Large Vision/Language Models (LVLMs) are less capable of generating accompanying image sequences. The most challenging aspect is that each generated image needs to adhere to the relevant textual step instruction, as well as be visually consistent with earlier images in the sequence. To address this problem, we propose an approach for generating consistent image sequences, which integrates a Latent Diffusion Model (LDM) with an LLM to transform the sequence into a caption to maintain the semantic coherence of the sequence. In addition, to maintain the visual coherence of the image sequence, we introduce a copy mechanism to initialise reverse diffusion processes with a latent vector iteration from a previously generated image from a relevant step. Both strategies will condition the reverse diffusion process on the sequence of instruction steps and tie the contents of the current image to previous instruction steps and corresponding images. Experiments show that the proposed approach is preferred by humans in 46.6% of the cases against 26.6% for the second best method. In addition, automatic metrics showed that the proposed method maintains semantic coherence and visual consistency across steps in both domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google