AniSora: Exploring the Frontiers of Animation Video Generation in the Sora Era

要約

アニメーションは、最近の映画やテレビ業界に大きな関心を集めています。
Sora、Kling、Cogvideoxなどの高度なビデオ生成モデルが自然なビデオの生成に成功したにもかかわらず、アニメーションビデオの処理には同じ効果がありません。
アニメーションのビデオ生成を評価することは、そのユニークなアーティストスタイルのために、物理学の法則と誇張された動きに違反しているため、大きな挑戦です。
このペーパーでは、データ処理パイプライン、制御可能な生成モデル、評価ベンチマークを含むアニメーションビデオ生成用に設計された包括的なシステムAnisoraを紹介します。
10mを超える高品質のデータを備えたデータ処理パイプラインによってサポートされているGenerationモデルには、空間的マスクモジュールが組み込まれており、画像からビデオへの生成、フレーム補間、ローカライズされた画像誘導アニメーションなどの主要なアニメーション生産機能を促進します。
また、アニメーションビデオ生成向けに特別に開発されたメトリックを備えた948のさまざまなアニメーションビデオの評価ベンチマークを収集します。
当社のプロジェクト全体は、https：//github.com/bilibili/index-anisora/tree/mainで公開されています。

要約(オリジナル)

Animation has gained significant interest in the recent film and TV industry. Despite the success of advanced video generation models like Sora, Kling, and CogVideoX in generating natural videos, they lack the same effectiveness in handling animation videos. Evaluating animation video generation is also a great challenge due to its unique artist styles, violating the laws of physics and exaggerated motions. In this paper, we present a comprehensive system, AniSora, designed for animation video generation, which includes a data processing pipeline, a controllable generation model, and an evaluation benchmark. Supported by the data processing pipeline with over 10M high-quality data, the generation model incorporates a spatiotemporal mask module to facilitate key animation production functions such as image-to-video generation, frame interpolation, and localized image-guided animation. We also collect an evaluation benchmark of 948 various animation videos, with specifically developed metrics for animation video generation. Our entire project is publicly available on https://github.com/bilibili/Index-anisora/tree/main.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google