Tuning-Free Multi-Event Long Video Generation via Synchronized Coupled Sampling

要約

テキストからビデオへの拡散モデルの最近の進歩により、単一のプロンプトから高品質の短いビデオ生成が可能になりますが、データが限られていることと高い計算コストのために、単一のパスで実際の長いビデオを生成することが困難です。
これに対処するために、いくつかの作品がチューニングのないアプローチ、つまり長いビデオ生成のために既存のモデルを拡張することを提案します。特に複数のプロンプトを使用して、動的および制御されたコンテンツの変更を可能にします。
ただし、これらの方法は主に、隣接するフレーム間のスムーズな遷移を確保することに焦点を当てており、多くの場合、コンテンツのドリフトと、長いシーケンスにわたってセマンティックコヒーレンスの徐々に失われます。
このような問題に取り組むために、ビデオ全体の除去パスを同期する新しい推論フレームワークである同期化された結合サンプリング（Syncos）を提案し、隣接するフレームと遠いフレームの両方で長距離の一貫性を確保します。
私たちのアプローチは、2つの補完的なサンプリング戦略を組み合わせています。リバースと最適化ベースのサンプリングと、それぞれシームレスなローカルトランジションを保証し、グローバルな一貫性を実施します。
ただし、これらのサンプリング間を直接交互に交互に交互に軌跡を誤って整理し、迅速なガイダンスを混乱させ、独立して動作する意図しないコンテンツの変更を導入します。
これを解決するために、Syncosは接地されたタイムステップと固定ベースラインノイズを介してそれらを同期させ、整列した除去パスで完全に結合したサンプリングを確保します。
広範な実験では、Syncosがマルチイベントの長いビデオ生成を大幅に改善し、よりスムーズな遷移と優れた長距離コヒーレンスを達成し、以前のアプローチを定量的かつ定性的に上回ることが示されています。

要約(オリジナル)

While recent advancements in text-to-video diffusion models enable high-quality short video generation from a single prompt, generating real-world long videos in a single pass remains challenging due to limited data and high computational costs. To address this, several works propose tuning-free approaches, i.e., extending existing models for long video generation, specifically using multiple prompts to allow for dynamic and controlled content changes. However, these methods primarily focus on ensuring smooth transitions between adjacent frames, often leading to content drift and a gradual loss of semantic coherence over longer sequences. To tackle such an issue, we propose Synchronized Coupled Sampling (SynCoS), a novel inference framework that synchronizes denoising paths across the entire video, ensuring long-range consistency across both adjacent and distant frames. Our approach combines two complementary sampling strategies: reverse and optimization-based sampling, which ensure seamless local transitions and enforce global coherence, respectively. However, directly alternating between these samplings misaligns denoising trajectories, disrupting prompt guidance and introducing unintended content changes as they operate independently. To resolve this, SynCoS synchronizes them through a grounded timestep and a fixed baseline noise, ensuring fully coupled sampling with aligned denoising paths. Extensive experiments show that SynCoS significantly improves multi-event long video generation, achieving smoother transitions and superior long-range coherence, outperforming previous approaches both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google