MovieCharacter: A Tuning-Free Framework for Controllable Character Video Synthesis

要約

キャラクター ビデオ合成における最近の進歩は、依然として広範な微調整または複雑な 3D モデリング プロセスに依存しているため、アクセシビリティが制限され、リアルタイムの適用性が妨げられる可能性があります。
これらの課題に対処するために、私たちは、高品質の結果を保証しながら合成プロセスを合理化するように設計された、MovieCharacter というキャラクター ビデオ合成のためのシンプルかつ効果的なチューニング不要のフレームワークを提案します。
私たちのフレームワークは、合成タスクを、キャラクターのセグメンテーションとトラッキング、ビデオ オブジェクトの削除、キャラクターの動きの模倣、およびビデオの合成といった個別の管理可能なモジュールに分解します。
このモジュール設計により、柔軟なカスタマイズが容易になるだけでなく、各コンポーネントが連携して動作し、ユーザーのニーズを効果的に満たすことができます。
MovieCharacter は、既存のオープンソース モデルを活用し、確立された技術を統合することにより、大量のリソースや独自のデータセットを必要とせずに優れた合成結果を実現します。
実験結果は、私たちのフレームワークがキャラクタービデオ合成の効率、アクセシビリティ、および適応性を強化し、より広範なクリエイティブでインタラクティブなアプリケーションへの道を開くことを示しています。

要約(オリジナル)

Recent advancements in character video synthesis still depend on extensive fine-tuning or complex 3D modeling processes, which can restrict accessibility and hinder real-time applicability. To address these challenges, we propose a simple yet effective tuning-free framework for character video synthesis, named MovieCharacter, designed to streamline the synthesis process while ensuring high-quality outcomes. Our framework decomposes the synthesis task into distinct, manageable modules: character segmentation and tracking, video object removal, character motion imitation, and video composition. This modular design not only facilitates flexible customization but also ensures that each component operates collaboratively to effectively meet user needs. By leveraging existing open-source models and integrating well-established techniques, MovieCharacter achieves impressive synthesis results without necessitating substantial resources or proprietary datasets. Experimental results demonstrate that our framework enhances the efficiency, accessibility, and adaptability of character video synthesis, paving the way for broader creative and interactive applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google