DreamFactory: Pioneering Multi-Scene Long Video Generation with a Multi-Agent Framework

要約

現在のビデオ生成モデルは、短くてリアルなクリップの作成には優れていますが、より長いマルチシーン ビデオの作成には苦労しています。
この課題に取り組む LLM ベースのフレームワークである \texttt{DreamFactory} を紹介します。
\texttt{DreamFactory} は、マルチエージェント コラボレーションの原則とキー フレーム反復設計手法を活用して、長いビデオ全体で一貫性とスタイルを確保します。
思考連鎖 (COT) を利用して、大規模な言語モデルに固有の不確実性に対処します。
\texttt{DreamFactory} は、長く、スタイル的に一貫した、複雑なビデオを生成します。
これらの長いビデオを評価することには課題が伴います。
シーン間の顔の距離スコアやシーン間のスタイルの一貫性スコアなどの新しい指標を提案します。
この分野の研究をさらに進めるために、150 を超える人間が評価したビデオを含むマルチシーン ビデオ データセットを提供しています。

要約(オリジナル)

Current video generation models excel at creating short, realistic clips, but struggle with longer, multi-scene videos. We introduce \texttt{DreamFactory}, an LLM-based framework that tackles this challenge. \texttt{DreamFactory} leverages multi-agent collaboration principles and a Key Frames Iteration Design Method to ensure consistency and style across long videos. It utilizes Chain of Thought (COT) to address uncertainties inherent in large language models. \texttt{DreamFactory} generates long, stylistically coherent, and complex videos. Evaluating these long-form videos presents a challenge. We propose novel metrics such as Cross-Scene Face Distance Score and Cross-Scene Style Consistency Score. To further research in this area, we contribute the Multi-Scene Videos Dataset containing over 150 human-rated videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google