ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation

要約

Image-to-Video (I2V) 生成は、最初のフレームを (テキスト プロンプトとともに) 使用してビデオ シーケンスを作成することを目的としています。
I2V 生成における大きな課題は、ビデオ全体で視覚的な一貫性を維持することです。既存の方法では、最初のフレームからの主題、背景、スタイルの完全性を維持し、ビデオの物語内で流動的かつ論理的な進行を確保するのに苦労することがよくあります。
これらの問題を軽減するために、I2V 生成の視覚的な一貫性を強化する拡散ベースの方法である ConsistI2V を提案します。
具体的には、(1) 空間と動きの一貫性を維持するために最初のフレームに対する時空間的注意を導入し、(2) レイアウトの一貫性を高めるために最初のフレームの低周波数帯域からのノイズ初期化を導入します。
これら 2 つのアプローチにより、ConsistI2V は一貫性の高いビデオを生成できます。
また、提案されたアプローチを拡張して、自己回帰長時間ビデオ生成とカメラモーション制御の一貫性を向上させる可能性を示します。
我々の手法の有効性を検証するために、I2V生成の総合評価ベンチマークであるI2V-Benchを提案します。
当社の自動および人間による評価結果は、既存の方法に対する ConsistI2V の優位性を示しています。

要約(オリジナル)

Image-to-video (I2V) generation aims to use the initial frame (alongside a text prompt) to create a video sequence. A grand challenge in I2V generation is to maintain visual consistency throughout the video: existing methods often struggle to preserve the integrity of the subject, background, and style from the first frame, as well as ensure a fluid and logical progression within the video narrative. To mitigate these issues, we propose ConsistI2V, a diffusion-based method to enhance visual consistency for I2V generation. Specifically, we introduce (1) spatiotemporal attention over the first frame to maintain spatial and motion consistency, (2) noise initialization from the low-frequency band of the first frame to enhance layout consistency. These two approaches enable ConsistI2V to generate highly consistent videos. We also extend the proposed approaches to show their potential to improve consistency in auto-regressive long video generation and camera motion control. To verify the effectiveness of our method, we propose I2V-Bench, a comprehensive evaluation benchmark for I2V generation. Our automatic and human evaluation results demonstrate the superiority of ConsistI2V over existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google