要約
ビデオ生成 AI モデル (SORA など) の進歩に伴い、クリエイターはビデオのプリビジュアライゼーションを強化するためにこれらの技術をますます使用しています。
しかし、不完全で不一致な AI ワークフローという課題に直面しています。
既存の方法は主にテキストの説明に依存しており、プリビズ化の重要なコンポーネントであるカメラの配置に苦労しています。
これらの問題に対処するために、エンジンによる拡散で強化された視覚的な事前視覚化システムである CinePreGen を導入します。
グローバルなカメラ調整からローカルなカメラ調整まで、動的な制御を提供する新しいカメラとストーリーボード インターフェイスを備えています。
これは、マルチマスクされた IP アダプターとエンジンのシミュレーション ガイドラインを通じて一貫した結果を達成することを目的とした、ユーザーフレンドリーな AI レンダリング ワークフローと組み合わされています。
当社の包括的な評価調査では、当社のシステムが開発の粘度 (つまり、開発プロセスの複雑さと課題) を軽減し、設計プロセスにおける広範な制御と反復に対するユーザーのニーズを満たし、映画のような他の AI ビデオ制作ワークフローよりも優れていることを実証しました。
私たちの実験と被験者内でのユーザー調査で示されたカメラの動き。
CinePreGen は、直感的なカメラ コントロールとカメラ モーションのリアルなレンダリングにより、個人のクリエイターと業界の専門家の両方のビデオ制作を向上させる大きな可能性を示しています。
要約(オリジナル)
With advancements in video generative AI models (e.g., SORA), creators are increasingly using these techniques to enhance video previsualization. However, they face challenges with incomplete and mismatched AI workflows. Existing methods mainly rely on text descriptions and struggle with camera placement, a key component of previsualization. To address these issues, we introduce CinePreGen, a visual previsualization system enhanced with engine-powered diffusion. It features a novel camera and storyboard interface that offers dynamic control, from global to local camera adjustments. This is combined with a user-friendly AI rendering workflow, which aims to achieve consistent results through multi-masked IP-Adapter and engine simulation guidelines. In our comprehensive evaluation study, we demonstrate that our system reduces development viscosity (i.e., the complexity and challenges in the development process), meets users’ needs for extensive control and iteration in the design process, and outperforms other AI video production workflows in cinematic camera movement, as shown by our experiments and a within-subjects user study. With its intuitive camera controls and realistic rendering of camera motion, CinePreGen shows great potential for improving video production for both individual creators and industry professionals.
arxiv情報
| 著者 | Yiran Chen,Anyi Rao,Xuekun Jiang,Shishi Xiao,Ruiqing Ma,Zeyu Wang,Hui Xiong,Bo Dai |
| 発行日 | 2024-08-30 17:16:18+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google