AIGCBench: Comprehensive Evaluation of Image-to-Video Content Generated by AI

要約

急成長している人工知能生成コンテンツ（AIGC）の分野では、特に動画生成が急速に進歩しています。本稿では、Image-to-Video（I2V）生成に主眼を置き、様々な動画生成タスクを評価するために設計された、包括的かつスケーラブルなベンチマークの先駆けであるAIGCBenchを紹介する。AIGCBenchは、多様なデータセットの欠如に悩む既存のベンチマークの限界に取り組み、同等の条件下で異なる最先端アルゴリズムを評価する、多様でオープンドメインの画像-テキストデータセットを含む。我々は、新しいテキストコンバイナーとGPT-4を採用し、リッチテキストプロンプトを作成し、それを高度なText-to-Imageモデルを介して画像を生成するために使用する。ビデオ生成タスクのための統一された評価フレームワークを確立するために、我々のベンチマークは、アルゴリズム性能を評価するための4つの次元にわたる11のメトリクスを含む。これらの次元とは、制御と映像のアライメント、モーションエフェクト、時間的一貫性、映像品質である。これらのメトリクスは、参照動画に依存するものでも動画に依存しないものでもあり、包括的な評価戦略を保証している。提案された評価基準は人間の判断とよく相関し、現在のI2Vアルゴリズムの長所と短所についての洞察を提供する。我々の広範な実験から得られた知見は、I2V分野における更なる研究開発を刺激することを目的としています。AIGCBenchは、より広範なAIGCランドスケープに標準化されたベンチマークを作成するための重要な一歩であり、将来的なビデオ生成タスクの評価に適応可能で公平なフレームワークを提案します。

要約(オリジナル)

The burgeoning field of Artificial Intelligence Generated Content (AIGC) is witnessing rapid advancements, particularly in video generation. This paper introduces AIGCBench, a pioneering comprehensive and scalable benchmark designed to evaluate a variety of video generation tasks, with a primary focus on Image-to-Video (I2V) generation. AIGCBench tackles the limitations of existing benchmarks, which suffer from a lack of diverse datasets, by including a varied and open-domain image-text dataset that evaluates different state-of-the-art algorithms under equivalent conditions. We employ a novel text combiner and GPT-4 to create rich text prompts, which are then used to generate images via advanced Text-to-Image models. To establish a unified evaluation framework for video generation tasks, our benchmark includes 11 metrics spanning four dimensions to assess algorithm performance. These dimensions are control-video alignment, motion effects, temporal consistency, and video quality. These metrics are both reference video-dependent and video-free, ensuring a comprehensive evaluation strategy. The evaluation standard proposed correlates well with human judgment, providing insights into the strengths and weaknesses of current I2V algorithms. The findings from our extensive experiments aim to stimulate further research and development in the I2V field. AIGCBench represents a significant step toward creating standardized benchmarks for the broader AIGC landscape, proposing an adaptable and equitable framework for future assessments of video generation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL