The Dawn of Video Generation: Preliminary Explorations with SORA-like Models

要約

テキストからビデオ (T2V)、画像からビデオ (I2V)、およびビデオからビデオ (V2V) の生成を含む高品質のビデオ生成は、コンテンツ作成において非常に重要であり、誰もが本来持っている創造性を表現するのに役立ちます。
世界をモデル化して理解するための新しい方法と世界シミュレーション。
SORA のようなモデルは、特に長いビデオ シーケンスにおいて、より高い解像度、より自然な動き、より優れた視覚言語の調整、および向上した制御性を備えたビデオの生成を進歩させています。
これらの改善は、大規模なデータ拡張と洗練されたトレーニング戦略とともに、UNet からよりスケーラブルでパラメーターが豊富な DiT モデルへの移行というモデル アーキテクチャの進化によって推進されてきました。
しかし、DiT ベースのクローズドソースおよびオープンソース モデルの出現にもかかわらず、その機能と限界についての包括的な調査は依然として不足しています。
さらに、急速な開発により、最近のベンチマークが SORA のようなモデルを完全にカバーし、その重要な進歩を認識することが困難になっています。
さらに、評価指標が人間の好みと一致しないこともよくあります。

要約(オリジナル)

High-quality video generation, encompassing text-to-video (T2V), image-to-video (I2V), and video-to-video (V2V) generation, holds considerable significance in content creation to benefit anyone express their inherent creativity in new ways and world simulation to modeling and understanding the world. Models like SORA have advanced generating videos with higher resolution, more natural motion, better vision-language alignment, and increased controllability, particularly for long video sequences. These improvements have been driven by the evolution of model architectures, shifting from UNet to more scalable and parameter-rich DiT models, along with large-scale data expansion and refined training strategies. However, despite the emergence of DiT-based closed-source and open-source models, a comprehensive investigation into their capabilities and limitations remains lacking. Furthermore, the rapid development has made it challenging for recent benchmarks to fully cover SORA-like models and recognize their significant advancements. Additionally, evaluation metrics often fail to align with human preferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google