DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models

要約

この論文では、高品質でカスタマイズされたヒューマン ダンス ビデオを作成するための、拡散ベースの制御可能なビデオ生成フレームワークである DreaMoving を紹介します。
具体的には、ターゲット アイデンティティと姿勢シーケンスが与えられると、DreaMoving は姿勢シーケンスによって駆動されるどこでもターゲット アイデンティティが踊るビデオを生成できます。
この目的を達成するために、モーション制御のための Video ControlNet とアイデンティティ保持のための Content Guider を提案します。
提案されたモデルは使いやすく、ほとんどの様式化された拡散モデルに適応して多様な結果を生成できます。
プロジェクト ページは https://dreamoving.github.io/dreamoving で利用できます。

要約(オリジナル)

In this paper, we present DreaMoving, a diffusion-based controllable video generation framework to produce high-quality customized human dance videos. Specifically, given target identity and posture sequences, DreaMoving can generate a video of the target identity dancing anywhere driven by the posture sequences. To this end, we propose a Video ControlNet for motion-controlling and a Content Guider for identity preserving. The proposed model is easy to use and can be adapted to most stylized diffusion models to generate diverse results. The project page is available at https://dreamoving.github.io/dreamoving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google