Automated Movie Generation via Multi-Agent CoT Planning

要約

既存の長い形式のビデオ生成フレームワークには、自動計画がなく、ストーリーライン、シーン、映画撮影、キャラクターの相互作用の手動入力が必要であり、高コストと非効率性をもたらします。
これらの課題に対処するために、マルチエージェントチェーン（COT）計画を介した自動ムービー生成であるMovieAgentを提示します。
MovieAgentは2つの重要な利点を提供します。1）最初に、自動化された映画/ロングビデオジェネレーションのパラダイムを探求して定義します。
スクリプトとキャラクターバンクを考えると、私たちのMovieagentは、コヒーレントな物語を備えたマルチシーンのマルチショットの長いビデオビデオを生成し、映画全体でキャラクターの一貫性、同期された字幕、安定したオーディオを確保します。
2）MovieAgentは、シーン、カメラの設定、映画撮影を自動的に構成し、人間の努力を大幅に削減するための階層的なCOTベースの推論プロセスを導入します。
MovieAgentは、複数のLLMエージェントを採用してディレクター、脚本家、ストーリーボードアーティスト、ロケーションマネージャーの役​​割をシミュレートすることにより、プロダクションパイプラインを合理化します。
実験は、Movieagentがスクリプトの忠実さ、キャラクターの一貫性、および物語の一貫性において、新しい最新の結果を達成することを示しています。
階層的なフレームワークは一歩前進し、完全に自動化された映画生成に関する新しい洞察を提供します。
コードおよびプロジェクトのWebサイトは、https：//github.com/showlab/movieagentおよびhttps://weijiawu.github.io/movieagentで入手できます。

要約(オリジナル)

Existing long-form video generation frameworks lack automated planning, requiring manual input for storylines, scenes, cinematography, and character interactions, resulting in high costs and inefficiencies. To address these challenges, we present MovieAgent, an automated movie generation via multi-agent Chain of Thought (CoT) planning. MovieAgent offers two key advantages: 1) We firstly explore and define the paradigm of automated movie/long-video generation. Given a script and character bank, our MovieAgent can generates multi-scene, multi-shot long-form videos with a coherent narrative, while ensuring character consistency, synchronized subtitles, and stable audio throughout the film. 2) MovieAgent introduces a hierarchical CoT-based reasoning process to automatically structure scenes, camera settings, and cinematography, significantly reducing human effort. By employing multiple LLM agents to simulate the roles of a director, screenwriter, storyboard artist, and location manager, MovieAgent streamlines the production pipeline. Experiments demonstrate that MovieAgent achieves new state-of-the-art results in script faithfulness, character consistency, and narrative coherence. Our hierarchical framework takes a step forward and provides new insights into fully automated movie generation. The code and project website are available at: https://github.com/showlab/MovieAgent and https://weijiawu.github.io/MovieAgent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google