CCEdit: Creative and Controllable Video Editing via Diffusion Models

要約

この作業では、クリエイティブで制御可能なビデオ編集の課題に対処するために設計された多用途フレームワークである CCEdit を紹介します。
CCEdit は、ユーザーの幅広い編集要件に対応し、ビデオの構造と外観を分離する革新的なアプローチを通じてクリエイティブなコントロールを強化します。
基本的な ControlNet アーキテクチャを活用して構造的完全性を維持しながら、DreamBooth や LoRA などのテキストから画像への生成のための最先端のパーソナライゼーション技術と互換性のある適応可能な時間モジュールをシームレスに統合します。さらに、参照条件付きビデオを導入します。
キーフレーム編集のより管理しやすいプロセスを通じて、ユーザーがビデオ編集を正確にクリエイティブにコントロールできるようになります。
私たちの広範な実験評価により、提案されている CCEdit フレームワークの優れた機能と編集機能が確認されています。
デモビデオは https://www.youtube.com/watch?v=UQw4jq-igN4 でご覧いただけます。

要約(オリジナル)

In this work, we present CCEdit, a versatile framework designed to address the challenges of creative and controllable video editing. CCEdit accommodates a wide spectrum of user editing requirements and enables enhanced creative control through an innovative approach that decouples video structure and appearance. We leverage the foundational ControlNet architecture to preserve structural integrity, while seamlessly integrating adaptable temporal modules compatible with state-of-the-art personalization techniques for text-to-image generation, such as DreamBooth and LoRA.Furthermore, we introduce reference-conditioned video editing, empowering users to exercise precise creative control over video editing through the more manageable process of editing key frames. Our extensive experimental evaluations confirm the exceptional functionality and editing capabilities of the proposed CCEdit framework. Demo video is available at https://www.youtube.com/watch?v=UQw4jq-igN4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google