要約
最近の動画生成モデルは、インペインティングやスタイル編集のような特定のタスクのために、主に注意深く書かれたテキストプロンプトに依存している。これらのモデルは、入力ビデオに手間のかかるテキスト記述を必要とし、個人的な/生のビデオをユーザの仕様に適応させる柔軟性を妨げている。本論文では、RACCooNを提案する。RACCooNは、汎用的でユーザフレンドリなビデオから段落への生成フレームワークであり、統一されたパイプラインを通じて、削除、追加、変更などの複数のビデオ編集機能をサポートする。RACCooNは2つの主要なステージから構成される：V2P（Video-to-Paragraph）とP2V（Paragraph-to-Video）である。V2Pステージでは、全体的な文脈と焦点化されたオブジェクトの詳細の両方をキャプチャし、よく構造化された自然言語でビデオシーンを自動的に記述する。その後、P2V段階において、ユーザはオプションでこれらの記述を洗練させ、ビデオ拡散モデルをガイドすることができ、入力ビデオに対して、削除、被写体の変更、新しいオブジェクトの追加など、様々な修正を行うことができる。(1)RACCooNは、複雑な人間の注釈を必要とすることなく、大まかなコンテキストとオブジェクトの詳細の両方をキャプチャし、ユーザがテキストに基づいて正確なビデオコンテンツ編集を簡素化する、よく構造化されたビデオ記述を生成するための多粒子の時空間プーリング戦略を提案する。(2)我々のビデオ生成モデルは、自動生成されたナラティブや指示を組み込むことで、生成されたコンテンツの品質と精度を向上させる。(3)RACCooNは、与えられた映像の中の新しいオブジェクトを想像することも計画するため、ユーザは複雑な映像編集のために、モデルを促すだけで詳細な映像編集計画を受け取ることができる。提案されたフレームワークは、ビデオから段落への生成、ビデオコンテンツの編集において印象的な汎用性を示し、さらなる強化のために他のSoTAビデオ生成モデルに組み込むことができる。
要約(オリジナル)
Recent video generative models primarily rely on carefully written text prompts for specific tasks, like inpainting or style editing. They require labor-intensive textual descriptions for input videos, hindering their flexibility to adapt personal/raw videos to user specifications. This paper proposes RACCooN, a versatile and user-friendly video-to-paragraph-to-video generative framework that supports multiple video editing capabilities such as removal, addition, and modification, through a unified pipeline. RACCooN consists of two principal stages: Video-to-Paragraph (V2P) and Paragraph-to-Video (P2V). In the V2P stage, we automatically describe video scenes in well-structured natural language, capturing both the holistic context and focused object details. Subsequently, in the P2V stage, users can optionally refine these descriptions to guide the video diffusion model, enabling various modifications to the input video, such as removing, changing subjects, and/or adding new objects. The proposed approach stands out from other methods through several significant contributions: (1) RACCooN suggests a multi-granular spatiotemporal pooling strategy to generate well-structured video descriptions, capturing both the broad context and object details without requiring complex human annotations, simplifying precise video content editing based on text for users. (2) Our video generative model incorporates auto-generated narratives or instructions to enhance the quality and accuracy of the generated content. (3) RACCooN also plans to imagine new objects in a given video, so users simply prompt the model to receive a detailed video editing plan for complex video editing. The proposed framework demonstrates impressive versatile capabilities in video-to-paragraph generation, video content editing, and can be incorporated into other SoTA video generative models for further enhancement.
arxiv情報
| 著者 | Jaehong Yoon,Shoubin Yu,Mohit Bansal |
| 発行日 | 2024-10-31 23:27:09+00:00 |
| arxivサイト | arxiv_id(pdf) |