Motion-Zero: Zero-Shot Moving Object Control Framework for Diffusion-Based Video Generation

要約

最近の大規模な事前トレーニング済み拡散モデルは、詳細なテキストの説明から高品質のビデオを生成する強力な生成能力を実証しています。
ただし、ビデオ拡散モデルによって生成されたビデオ内のオブジェクトの動きを制御することは、困難な問題です。
この論文では、バウンディングボックス軌跡制御のテキストからビデオへの拡散モデルを可能にする、新しいゼロショット移動オブジェクト軌跡制御フレームワーク Motion-Zero を提案します。この目的のために、初期ノイズ事前モジュールが設計されています。
移動オブジェクトの外観の安定性と位置の精度を向上させるために、位置ベースの事前を提供します。
さらに、U-net のアテンション マップに基づいて、空間的制約が拡散モデルのノイズ除去プロセスに直接適用され、推論中の移動オブジェクトの位置的および空間的一貫性がさらに保証されます。
さらに、提案されたシフト時間的注意メカニズムにより、時間的一貫性が保証されます。
私たちの手法は、トレーニングプロセスなしでさまざまな最先端のビデオ拡散モデルに柔軟に適用できます。
広範な実験により、私たちの提案した方法がオブジェクトの運動軌跡を制御し、高品質のビデオを生成できることが実証されました。

要約(オリジナル)

Recent large-scale pre-trained diffusion models have demonstrated a powerful generative ability to produce high-quality videos from detailed text descriptions. However, exerting control over the motion of objects in videos generated by any video diffusion model is a challenging problem. In this paper, we propose a novel zero-shot moving object trajectory control framework, Motion-Zero, to enable a bounding-box-trajectories-controlled text-to-video diffusion model.To this end, an initial noise prior module is designed to provide a position-based prior to improve the stability of the appearance of the moving object and the accuracy of position. In addition, based on the attention map of the U-net, spatial constraints are directly applied to the denoising process of diffusion models, which further ensures the positional and spatial consistency of moving objects during the inference. Furthermore, temporal consistency is guaranteed with a proposed shift temporal attention mechanism. Our method can be flexibly applied to various state-of-the-art video diffusion models without any training process. Extensive experiments demonstrate our proposed method can control the motion trajectories of objects and generate high-quality videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google