Seaweed-7B: Cost-Effective Training of Video Generation Foundation Model

要約

このテクニカルレポートは、ビデオジェネレーションファンデーションモデルをトレーニングするための費用効率の高い戦略を提示します。
665,000 H100 GPU時間を使用して、SeaWeed-7Bと呼ばれる約70億パラメーター（7B）とゼロから訓練された中規模の研究モデルを提示します。
中程度の計算リソースで訓練されているにもかかわらず、SeaWeed-7Bは、はるかに大きなサイズの現代のビデオ生成モデルと比較して、非常に競争力のあるパフォーマンスを示しています。
リソース制約のある設定では、設計の選択が特に重要です。
このテクニカルレポートは、中規模の拡散モデルのパフォーマンスを向上させる重要な設計上の決定を強調しています。
経験的には、2つの観察結果を作成します。（1）海藻-7Bは、実質的に大きなGPUリソ​​ースで訓練されたより大きなモデルに匹敵する、または上回るパフォーマンスを達成します。
https://seaweed.video/のプロジェクトページを参照してください

要約(オリジナル)

This technical report presents a cost-efficient strategy for training a video generation foundation model. We present a mid-sized research model with approximately 7 billion parameters (7B) called Seaweed-7B trained from scratch using 665,000 H100 GPU hours. Despite being trained with moderate computational resources, Seaweed-7B demonstrates highly competitive performance compared to contemporary video generation models of much larger size. Design choices are especially crucial in a resource-constrained setting. This technical report highlights the key design decisions that enhance the performance of the medium-sized diffusion model. Empirically, we make two observations: (1) Seaweed-7B achieves performance comparable to, or even surpasses, larger models trained on substantially greater GPU resources, and (2) our model, which exhibits strong generalization ability, can be effectively adapted across a wide range of downstream applications either by lightweight fine-tuning or continue training. See the project page at https://seaweed.video/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google