Alignment is All You Need: A Training-free Augmentation Strategy for Pose-guided Video Generation

要約

キャラクター アニメーションは、コンピュータ グラフィックスとビジョンの変革分野であり、静止画像からダイナミックでリアルなビデオ アニメーションを可能にします。
進歩にもかかわらず、アニメーションの外観の一貫性を維持することは依然として課題です。
私たちのアプローチは、デュアル アライメント戦略を通じて、生成されたビデオ シーケンスが体格やプロポーションなどの参照画像の微妙な部分を確実に保持するトレーニング不要のフレームワークを導入することでこの問題に対処します。
骨格とモーションの事前情報をポーズ情報から切り離し、アニメーション生成の正確な制御を可能にします。
また、私たちの方法は、基準キャラクターからの条件付き制御のためのピクセルレベルの位置合わせを改善し、アニメーションの時間的一貫性と視覚的な一貫性を強化します。
私たちの方法は、大規模なデータセットや高価な計算リソースを必要とせずに、ビデオ生成の品質を大幅に向上させます。

要約(オリジナル)

Character animation is a transformative field in computer graphics and vision, enabling dynamic and realistic video animations from static images. Despite advancements, maintaining appearance consistency in animations remains a challenge. Our approach addresses this by introducing a training-free framework that ensures the generated video sequence preserves the reference image’s subtleties, such as physique and proportions, through a dual alignment strategy. We decouple skeletal and motion priors from pose information, enabling precise control over animation generation. Our method also improves pixel-level alignment for conditional control from the reference character, enhancing the temporal consistency and visual cohesion of animations. Our method significantly enhances the quality of video generation without the need for large datasets or expensive computational resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google