Tora: Trajectory-oriented Diffusion Transformer for Video Generation

要約

Diffusion Transformer (DiT) の最近の進歩により、高品質のビデオ コンテンツの作成において顕著な熟練が実証されました。
それにもかかわらず、制御可能な動きを伴うビデオを効果的に生成するためのトランスベースの拡散モデルの可能性は、依然として限られた探求の領域です。
この論文では、ビデオ生成のためにテキスト、ビジュアル、および軌跡の条件を同時に統合する初の軌跡指向の DiT フレームワークである Tora を紹介します。
具体的には、Tora は Trajectory Extractor~(TE)、Spatial-Temporal DiT、および Motion-guidedance Fuser~(MGF) で構成されます。
TE は、3D ビデオ圧縮ネットワークを使用して、任意の軌道を階層的な時空モーション パッチにエンコードします。
MGF はモーション パッチを DiT ブロックに統合し、軌跡に従って一貫したビデオを生成します。
当社の設計は DiT のスケーラビリティとシームレスに連携しており、さまざまな長さ、アスペクト比、解像度のビデオ コンテンツのダイナミクスを正確に制御できます。
広範な実験により、物理世界の動きを綿密にシミュレートしながら、高いモーション忠実度を達成するという Tora の卓越性が実証されました。
ページは https://ali-videoai.github.io/tora_video にあります。

要約(オリジナル)

Recent advancements in Diffusion Transformer (DiT) have demonstrated remarkable proficiency in producing high-quality video content. Nonetheless, the potential of transformer-based diffusion models for effectively generating videos with controllable motion remains an area of limited exploration. This paper introduces Tora, the first trajectory-oriented DiT framework that integrates textual, visual, and trajectory conditions concurrently for video generation. Specifically, Tora consists of a Trajectory Extractor~(TE), a Spatial-Temporal DiT, and a Motion-guidance Fuser~(MGF). The TE encodes arbitrary trajectories into hierarchical spacetime motion patches with a 3D video compression network. The MGF integrates the motion patches into the DiT blocks to generate consistent videos following trajectories. Our design aligns seamlessly with DiT’s scalability, allowing precise control of video content’s dynamics with diverse durations, aspect ratios, and resolutions. Extensive experiments demonstrate Tora’s excellence in achieving high motion fidelity, while also meticulously simulating the movement of the physical world. Page can be found at https://ali-videoai.github.io/tora_video.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google