Temporal Regularization Makes Your Video Generator Stronger

要約

一時的な品質は、フレーム全体で一貫した動きと現実的なダイナミクスを保証するため、ビデオ生成の重要な側面です。
しかし、高い時間的一貫性と多様性を達成することは依然として困難です。
この作業では、ビデオ生成の時間的増強を初めて探索し、一時的な品質を向上させるために設計された戦略である最初の調査のためにFluxflowを導入します。
データレベルで動作するFluxFlowは、建築の変更を必要とせずに制御された時間的摂動を適用します。
UCF-101およびVbenchベンチマークに関する広範な実験は、FluxflowがU-NET、DIT、ARベースのアーキテクチャを含むさまざまなビデオ生成モデルの時間的一貫性と多様性を大幅に改善し、空間的忠実度を維持することを示しています。
これらの発見は、ビデオ生成品質を高めるためのシンプルで効果的なアプローチとしての時間的増強の可能性を強調しています。

要約(オリジナル)

Temporal quality is a critical aspect of video generation, as it ensures consistent motion and realistic dynamics across frames. However, achieving high temporal coherence and diversity remains challenging. In this work, we explore temporal augmentation in video generation for the first time, and introduce FluxFlow for initial investigation, a strategy designed to enhance temporal quality. Operating at the data level, FluxFlow applies controlled temporal perturbations without requiring architectural modifications. Extensive experiments on UCF-101 and VBench benchmarks demonstrate that FluxFlow significantly improves temporal coherence and diversity across various video generation models, including U-Net, DiT, and AR-based architectures, while preserving spatial fidelity. These findings highlight the potential of temporal augmentation as a simple yet effective approach to advancing video generation quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google