LayerAnimate: Layer-specific Control for Animation

要約

アニメーション ビデオでは、前景要素と背景要素がレイヤーに分離され、スケッチ、調整、色付け、中間処理などの個別のプロセスが行われます。
既存のビデオ生成方法は通常、アニメーションをモノリシックなデータ ドメインとして扱い、個々のレイヤーに対するきめ細かい制御が不足しています。
このペーパーでは、ビデオ拡散モデル内の個々のアニメーション レイヤに対するきめ細かい制御を強化する新しいアーキテクチャ アプローチである LayerAnimate を紹介します。これにより、ユーザーは個別のレイヤの前景要素と背景要素を個別に操作できるようになります。
限られたレイヤー固有のデータという課題に対処するために、自動化された要素セグメンテーション、モーション状態の階層的マージ、モーション コヒーレンスの洗練を特徴とするデータ キュレーション パイプラインを提案します。
定量的および定性的な比較とユーザー調査を通じて、LayerAnimate がアニメーションの品質、制御精度、使いやすさの点で現在の方法よりも優れており、プロのアニメーターとアマチュアの愛好家の両方にとって理想的なツールであることを実証しました。
このフレームワークは、レイヤー固有のアニメーション アプリケーションとクリエイティブな柔軟性に新たな可能性をもたらします。
私たちのコードは https://layeranimate.github.io で入手できます。

要約(オリジナル)

Animated video separates foreground and background elements into layers, with distinct processes for sketching, refining, coloring, and in-betweening. Existing video generation methods typically treat animation as a monolithic data domain, lacking fine-grained control over individual layers. In this paper, we introduce LayerAnimate, a novel architectural approach that enhances fine-grained control over individual animation layers within a video diffusion model, allowing users to independently manipulate foreground and background elements in distinct layers. To address the challenge of limited layer-specific data, we propose a data curation pipeline that features automated element segmentation, motion-state hierarchical merging, and motion coherence refinement. Through quantitative and qualitative comparisons, and user study, we demonstrate that LayerAnimate outperforms current methods in terms of animation quality, control precision, and usability, making it an ideal tool for both professional animators and amateur enthusiasts. This framework opens up new possibilities for layer-specific animation applications and creative flexibility. Our code is available at https://layeranimate.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google