MagicMotion: Controllable Video Generation with Dense-to-Sparse Trajectory Guidance

要約

最近のビデオ生成の進歩により、視覚の質と時間的一貫性の著しい改善がもたらされました。
これに加えて、明示的に定義された空間パスを介して正確なオブジェクトモーション制御を可能にするために、軌道制御可能なビデオ生成が登場しました。
ただし、既存の方法は、複雑なオブジェクトの動きとマルチオブジェクトモーションコントロールと闘うため、不正な軌跡の順守、オブジェクトの一貫性の低下、視覚品質の侵害が生じます。
さらに、これらの方法は、単一の形式での軌道制御のみをサポートし、多様なシナリオでの適用性を制限します。
さらに、軌道制御可能なビデオ生成に合わせて仕立てられた公開されたデータセットまたはベンチマークは、堅牢なトレーニングと体系的な評価を妨げません。
これらの課題に対処するために、マジックモーションを紹介します。これは、密集からスパースまでの3つのレベルの条件を介して軌道制御を可能にする新しい画像からビデオへの生成フレームワークです。マスク、境界ボックス、スパースボックスです。
入力画像と軌跡が与えられた場合、MagicMotionは、オブジェクトの一貫性と視覚品質を維持しながら、定義された軌跡に沿ってオブジェクトをシームレスにアニメーション化します。
さらに、大規模な軌跡制御ビデオデータセットであるMagicDataと、注釈とフィルタリングのための自動パイプラインを提示します。
また、さまざまな数のオブジェクトにわたってビデオ品質と軌道制御の精度の両方を評価する包括的なベンチマークであるMagicBenchも紹介します。
広範な実験は、MagicMotionがさまざまなメトリックにわたって以前の方法よりも優れていることを示しています。
プロジェクトページは、https://quanhaol.github.io/magicmotion-siteで公開されています。

要約(オリジナル)

Recent advances in video generation have led to remarkable improvements in visual quality and temporal coherence. Upon this, trajectory-controllable video generation has emerged to enable precise object motion control through explicitly defined spatial paths. However, existing methods struggle with complex object movements and multi-object motion control, resulting in imprecise trajectory adherence, poor object consistency, and compromised visual quality. Furthermore, these methods only support trajectory control in a single format, limiting their applicability in diverse scenarios. Additionally, there is no publicly available dataset or benchmark specifically tailored for trajectory-controllable video generation, hindering robust training and systematic evaluation. To address these challenges, we introduce MagicMotion, a novel image-to-video generation framework that enables trajectory control through three levels of conditions from dense to sparse: masks, bounding boxes, and sparse boxes. Given an input image and trajectories, MagicMotion seamlessly animates objects along defined trajectories while maintaining object consistency and visual quality. Furthermore, we present MagicData, a large-scale trajectory-controlled video dataset, along with an automated pipeline for annotation and filtering. We also introduce MagicBench, a comprehensive benchmark that assesses both video quality and trajectory control accuracy across different numbers of objects. Extensive experiments demonstrate that MagicMotion outperforms previous methods across various metrics. Our project page are publicly available at https://quanhaol.github.io/magicmotion-site.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google