要約
2D アニメーションの制作は業界標準のワークフローに従い、キャラクター デザイン、キーフレーム アニメーション、中間、カラーリングという 4 つの重要な段階で構成されます。
私たちの研究は、ますます強力になる生成 AI の可能性を活用して、上記のプロセスにおける人件費を削減することに焦点を当てています。
ビデオ拡散モデルを基盤として使用する AniDoc は、ビデオ ライン アート カラー化ツールとして登場し、リファレンス キャラクター仕様に従ってスケッチ シーケンスをカラー アニメーションに自動的に変換します。
私たちのモデルは、対応マッチングを明示的なガイダンスとして活用し、参照文字と各線画フレームの間の変動 (姿勢など) に対する強力なロバスト性をもたらします。
さらに、私たちのモデルは中間プロセスを自動化することもでき、ユーザーはキャラクター画像と開始スケッチと終了スケッチを提供するだけで、時間的に一貫したアニメーションを簡単に作成できます。
私たちのコードは https://yihao-meng.github.io/AniDoc_demo で入手できます。
要約(オリジナル)
The production of 2D animation follows an industry-standard workflow, encompassing four essential stages: character design, keyframe animation, in-betweening, and coloring. Our research focuses on reducing the labor costs in the above process by harnessing the potential of increasingly powerful generative AI. Using video diffusion models as the foundation, AniDoc emerges as a video line art colorization tool, which automatically converts sketch sequences into colored animations following the reference character specification. Our model exploits correspondence matching as an explicit guidance, yielding strong robustness to the variations (e.g., posture) between the reference character and each line art frame. In addition, our model could even automate the in-betweening process, such that users can easily create a temporally consistent animation by simply providing a character image as well as the start and end sketches. Our code is available at: https://yihao-meng.github.io/AniDoc_demo.
arxiv情報
| 著者 | Yihao Meng,Hao Ouyang,Hanlin Wang,Qiuyu Wang,Wen Wang,Ka Leong Cheng,Zhiheng Liu,Yujun Shen,Huamin Qu |
| 発行日 | 2024-12-18 18:59:59+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google