CoNo: Consistency Noise Injection for Tuning-free Long Video Diffusion

要約

チューニング不要の長いビデオ拡散は、事前にトレーニングされた短いビデオ拡散モデルからの知識を再トレーニングせずに再利用することで、充実したコンテンツを含む長時間ビデオを生成するために提案されています。
しかし、ほとんどの作品は、きめの細かい長期的なビデオ一貫性モデリングを無視しており、特に複数のテキスト入力の場合、シーンの一貫性が制限されます (つまり、不当なオブジェクトや背景の遷移)。
これを軽減するために、CoNo と呼ばれる一貫性ノイズ挿入を提案します。これは、異なるビデオ クリップ間のきめ細かいシーン遷移を強化する「ルックバック」メカニズムを導入し、長期的な一貫性の正則化を設計して、コンテンツのシフトを排除します。
ノイズ予測を通じてビデオコンテンツを拡張します。
特に、「ルックバック」メカニズムは、ノイズ スケジューリング プロセスを 3 つの重要な部分に分割し、1 つの内部ノイズ予測部分が 2 つのビデオ拡張部分に挿入され、2 つのビデオ クリップ間のきめ細かいトランジションを実現します。
長期一貫性の正則化は、拡張ビデオ クリップの予測ノイズと元のノイズ間のピクセル単位の距離を明示的に最小化することに重点を置き、それによって突然のシーンの遷移を防ぎます。
広範な実験により、単一テキストと複数テキストのプロンプト条件の両方で長いビデオの生成を実行することにより、上記の戦略の有効性が示されました。
プロジェクトは https://wxrui182.github.io/CoNo.github.io/ で入手できます。

要約(オリジナル)

Tuning-free long video diffusion has been proposed to generate extended-duration videos with enriched content by reusing the knowledge from pre-trained short video diffusion model without retraining. However, most works overlook the fine-grained long-term video consistency modeling, resulting in limited scene consistency (i.e., unreasonable object or background transitions), especially with multiple text inputs. To mitigate this, we propose the Consistency Noise Injection, dubbed CoNo, which introduces the ‘look-back’ mechanism to enhance the fine-grained scene transition between different video clips, and designs the long-term consistency regularization to eliminate the content shifts when extending video contents through noise prediction. In particular, the ‘look-back’ mechanism breaks the noise scheduling process into three essential parts, where one internal noise prediction part is injected into two video-extending parts, intending to achieve a fine-grained transition between two video clips. The long-term consistency regularization focuses on explicitly minimizing the pixel-wise distance between the predicted noises of the extended video clip and the original one, thereby preventing abrupt scene transitions. Extensive experiments have shown the effectiveness of the above strategies by performing long-video generation under both single- and multi-text prompt conditions. The project has been available in https://wxrui182.github.io/CoNo.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google