VideoBooth: Diffusion-based Video Generation with Image Prompts

要約

テキストによる動画生成は急速に進歩している。しかし、単にテキストプロンプトを用いるだけでは、特にカスタマイズされたコンテンツ作成において、ユーザの意図に正確に沿った望ましい被写体の外観を描写するには不十分である。本論文では、画像プロンプトを用いた動画生成タスクについて研究する。具体的には、フィードフォワードフレームワークVideoBoothを提案する：1) 画像プロンプトを粗いものから細かいものまで埋め込むことを提案する。画像エンコーダからの粗い視覚的埋め込みは、画像プロンプトの高レベルエンコーディングを提供し、提案する注意注入モジュールからの細かい視覚的埋め込みは、画像プロンプトのマルチスケールかつ詳細なエンコーディングを提供する。これら2つの相補的な埋め込みは、所望の外観を忠実にキャプチャすることができる。2) 細かいレベルの注意注入モジュールでは、マルチスケールの画像プロンプトは、追加のキーと値として異なるクロスフレームの注意レイヤーに供給される。この余分な空間情報は最初のフレームのディテールを洗練し、それが残りのフレームに伝搬されることで、時間的な一貫性が保たれます。広範な実験により、VideoBoothは、画像プロンプトで指定された被写体でカスタマイズされた高品質のビデオを生成する際に、最先端の性能を達成することが実証されている。特筆すべきは、VideoBoothは汎用性の高いフレームワークであり、1つのモデルでフィードフォワードパスを用いた様々な画像プロンプトに対応できることである。

要約(オリジナル)

Text-driven video generation witnesses rapid progress. However, merely using text prompts is not enough to depict the desired subject appearance that accurately aligns with users’ intents, especially for customized content creation. In this paper, we study the task of video generation with image prompts, which provide more accurate and direct content control beyond the text prompts. Specifically, we propose a feed-forward framework VideoBooth, with two dedicated designs: 1) We propose to embed image prompts in a coarse-to-fine manner. Coarse visual embeddings from image encoder provide high-level encodings of image prompts, while fine visual embeddings from the proposed attention injection module provide multi-scale and detailed encoding of image prompts. These two complementary embeddings can faithfully capture the desired appearance. 2) In the attention injection module at fine level, multi-scale image prompts are fed into different cross-frame attention layers as additional keys and values. This extra spatial information refines the details in the first frame and then it is propagated to the remaining frames, which maintains temporal consistency. Extensive experiments demonstrate that VideoBooth achieves state-of-the-art performance in generating customized high-quality videos with subjects specified in image prompts. Notably, VideoBooth is a generalizable framework where a single model works for a wide range of image prompts with feed-forward pass.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL