StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration

要約

AI 生成コンテンツ (AIGC) の出現により、従来のプロセスを合理化する自動ビデオ生成の研究が加速しています。
ただし、ストーリーテリングビデオ制作、特にカスタマイズされたナラティブの自動化は、ショット間で主題の一貫性を維持することが複雑なため、依然として課題が残っています。
Mora や AesopAgent などの既存のアプローチは、ストーリーからビデオ (S2V) 生成のために複数のエージェントを統合していますが、主人公の一貫性を維持し、カスタマイズされたストーリーテリング ビデオ生成 (CSVG) をサポートするという点では不十分です。
これらの制限に対処するために、CSVG 用に設計されたマルチエージェント フレームワークである StoryAgent を提案します。
StoryAgent は、CSVG を専門のエージェントに割り当てられる個別のサブタスクに分解し、プロの制作プロセスを反映します。
特に、当社のフレームワークには、ストーリー設計、ストーリーボード生成、ビデオ作成、エージェント調整、および結果評価のためのエージェントが含まれています。
StoryAgent は、さまざまなモデルの長所を活用して、生成プロセスの制御を強化し、キャラクターの一貫性を大幅に向上させます。
具体的には、カスタマイズされた Image-to-Video (I2V) 手法である LoRA-BE を導入してショット内の時間的一貫性を強化する一方、ショット全体で被写体の一貫性を維持するために新しいストーリーボード生成パイプラインを提案します。
広範な実験により、一貫性の高いストーリーテリングビデオを合成する際の当社のアプローチの有効性が実証され、最先端の手法を上回ります。
私たちの貢献には、ビデオ生成タスク用の多用途フレームワークである StoryAgent の導入や、主人公の一貫性を維持するための新しい技術が含まれます。

要約(オリジナル)

The advent of AI-Generated Content (AIGC) has spurred research into automated video generation to streamline conventional processes. However, automating storytelling video production, particularly for customized narratives, remains challenging due to the complexity of maintaining subject consistency across shots. While existing approaches like Mora and AesopAgent integrate multiple agents for Story-to-Video (S2V) generation, they fall short in preserving protagonist consistency and supporting Customized Storytelling Video Generation (CSVG). To address these limitations, we propose StoryAgent, a multi-agent framework designed for CSVG. StoryAgent decomposes CSVG into distinct subtasks assigned to specialized agents, mirroring the professional production process. Notably, our framework includes agents for story design, storyboard generation, video creation, agent coordination, and result evaluation. Leveraging the strengths of different models, StoryAgent enhances control over the generation process, significantly improving character consistency. Specifically, we introduce a customized Image-to-Video (I2V) method, LoRA-BE, to enhance intra-shot temporal consistency, while a novel storyboard generation pipeline is proposed to maintain subject consistency across shots. Extensive experiments demonstrate the effectiveness of our approach in synthesizing highly consistent storytelling videos, outperforming state-of-the-art methods. Our contributions include the introduction of StoryAgent, a versatile framework for video generation tasks, and novel techniques for preserving protagonist consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google