DreamCinema: Cinematic Transfer with Free Camera and 3D Character

要約

私たちはデジタル メディアの隆盛の時代に生きており、誰もが個人の映画製作者になれる可能性を持っています。
映画の転送に関する現在の研究により、映画製作者は古典的なショットから視覚要素 (映画撮影やキャラクターの行動など) を再現および操作できるようになります。
しかし、再考された映画のキャラクターは依然として手作業に依存しており、技術的に非常に複雑でコストがかかるため、一般のユーザーには手が届きません。
さらに、彼らが推定した映画撮影法は、フレーム間の動きの捕捉と物理的な軌跡のモデリングが不十分であるため、滑らかさに欠けています。
幸いなことに、2D および 3D AIGC の目覚ましい成功により、ユーザーのニーズに合わせたキャラクターを効率的に生成し、映画撮影を多様化できる可能性が開かれました。
この論文では、ユーザーフレンドリーな映画制作を促進することを目的として、生成 AI を映画制作パラダイムに先駆けて組み込む、新しい映画転送フレームワークである DreamCinema を提案します。
具体的には、まず映画の要素 (つまり、人間とカメラのポーズ) を抽出し、カメラの軌道を最適化します。
次に、キャラクター ジェネレーターを適用して、事前に人間の構造を備えた高品質の 3D キャラクターを効率的に作成します。
最後に、生成されたキャラクターを映画制作に組み込み、3D グラフィックス エンジンを介してスムーズに転送するための、構造に基づいたモーション転送戦略を開発します。
広範な実験により、無料のカメラと 3D キャラクターを使用して高品質の映画を作成するための私たちの方法の有効性が実証されています。

要約(オリジナル)

We are living in a flourishing era of digital media, where everyone has the potential to become a personal filmmaker. Current research on cinematic transfer empowers filmmakers to reproduce and manipulate the visual elements (e.g., cinematography and character behaviors) from classic shots. However, characters in the reimagined films still rely on manual crafting, which involves significant technical complexity and high costs, making it unattainable for ordinary users. Furthermore, their estimated cinematography lacks smoothness due to inadequate capturing of inter-frame motion and modeling of physical trajectories. Fortunately, the remarkable success of 2D and 3D AIGC has opened up the possibility of efficiently generating characters tailored to users’ needs, diversifying cinematography. In this paper, we propose DreamCinema, a novel cinematic transfer framework that pioneers generative AI into the film production paradigm, aiming at facilitating user-friendly film creation. Specifically, we first extract cinematic elements (i.e., human and camera pose) and optimize the camera trajectory. Then, we apply a character generator to efficiently create 3D high-quality characters with a human structure prior. Finally, we develop a structure-guided motion transfer strategy to incorporate generated characters into film creation and transfer it via 3D graphics engines smoothly. Extensive experiments demonstrate the effectiveness of our method for creating high-quality films with free camera and 3D characters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google