Movie Gen: A Cast of Media Foundation Models

要約

さまざまなアスペクト比と同期されたオーディオを備えた高品質の 1080p HD ビデオを生成する基礎モデルである Movie Gen を紹介します。
また、正確な指示ベースのビデオ編集や、ユーザーのイメージに基づいてパーソナライズされたビデオの生成などの追加機能も示します。
当社のモデルは、テキストからビデオへの合成、ビデオのパーソナライゼーション、ビデオ編集、ビデオからオーディオへの生成、テキストからオーディオへの生成など、複数のタスクに関して新しい最先端技術を確立しています。
私たちの最大のビデオ生成モデルは、73K ビデオ トークンの最大コンテキスト長でトレーニングされた 30B パラメーター トランスフォーマーで、16 フレーム/秒で 16 秒の生成ビデオに相当します。
アーキテクチャ、潜在空間、トレーニングの目的とレシピ、データキュレーション、評価プロトコル、並列化手法、および推論の最適化に関する複数の技術革新と簡素化を示し、これによりトレーニング前のデータ、モデルのサイズ、トレーニングのスケーリングのメリットを得ることができます。
大規模なメディア生成モデルをトレーニングするための計算を行います。
この論文が、研究コミュニティがメディア生成モデルの進歩と革新を加速するのに役立つことを願っています。
この論文のすべてのビデオは https://go.fb.me/MovieGenResearchVideos でご覧いただけます。

要約(オリジナル)

We present Movie Gen, a cast of foundation models that generates high-quality, 1080p HD videos with different aspect ratios and synchronized audio. We also show additional capabilities such as precise instruction-based video editing and generation of personalized videos based on a user’s image. Our models set a new state-of-the-art on multiple tasks: text-to-video synthesis, video personalization, video editing, video-to-audio generation, and text-to-audio generation. Our largest video generation model is a 30B parameter transformer trained with a maximum context length of 73K video tokens, corresponding to a generated video of 16 seconds at 16 frames-per-second. We show multiple technical innovations and simplifications on the architecture, latent spaces, training objectives and recipes, data curation, evaluation protocols, parallelization techniques, and inference optimizations that allow us to reap the benefits of scaling pre-training data, model size, and training compute for training large scale media generation models. We hope this paper helps the research community to accelerate progress and innovation in media generation models. All videos from this paper are available at https://go.fb.me/MovieGenResearchVideos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google