AIGCBench: Comprehensive Evaluation of Image-to-Video Content Generated by AI

要約

人工知能生成コンテンツ (AIGC) の急成長分野は、特にビデオ生成において急速な進歩を遂げています。
このペーパーでは、主に Image-to-Video (I2V) 生成に焦点を当て、さまざまなビデオ生成タスクを評価するために設計された先駆的な包括的でスケーラブルなベンチマークである AIGCBench を紹介します。
AIGCBench は、同等の条件下でさまざまな最先端のアルゴリズムを評価する、多様でオープンドメインの画像テキスト データセットを組み込むことで、多様なデータセットの欠如による既存のベンチマークの限界に取り組んでいます。
新しいテキスト コンバイナーと GPT-4 を使用してリッチ テキスト プロンプトを作成し、これを使用して高度な Text-to-Image モデルを介して画像を生成します。
ビデオ生成タスクの統一評価フレームワークを確立するために、当社のベンチマークには、アルゴリズムのパフォーマンスを評価するための 4 つの次元にわたる 11 の指標が含まれています。
これらの次元とは、コントロールとビデオの位置合わせ、モーション効果、時間的一貫性、およびビデオ品質です。
これらの指標は、参照ビデオに依存するものとビデオに依存しないものの両方であり、包括的な評価戦略を保証します。
提案された評価基準は人間の判断とよく相関しており、現在の I2V アルゴリズムの長所と短所についての洞察を提供します。
私たちの広範な実験から得られた結果は、I2V 分野でのさらなる研究開発を刺激することを目的としています。
AIGCBench は、より広範な AIGC 環境の標準化されたベンチマークの作成に向けた重要な一歩を表し、ビデオ生成タスクの将来の評価のための適応可能で公平なフレームワークを提案します。
データセットと評価コードをプロジェクト Web サイト (https://www.benchcouncil.org/AIGCBench) でオープンソース化しました。

要約(オリジナル)

The burgeoning field of Artificial Intelligence Generated Content (AIGC) is witnessing rapid advancements, particularly in video generation. This paper introduces AIGCBench, a pioneering comprehensive and scalable benchmark designed to evaluate a variety of video generation tasks, with a primary focus on Image-to-Video (I2V) generation. AIGCBench tackles the limitations of existing benchmarks, which suffer from a lack of diverse datasets, by including a varied and open-domain image-text dataset that evaluates different state-of-the-art algorithms under equivalent conditions. We employ a novel text combiner and GPT-4 to create rich text prompts, which are then used to generate images via advanced Text-to-Image models. To establish a unified evaluation framework for video generation tasks, our benchmark includes 11 metrics spanning four dimensions to assess algorithm performance. These dimensions are control-video alignment, motion effects, temporal consistency, and video quality. These metrics are both reference video-dependent and video-free, ensuring a comprehensive evaluation strategy. The evaluation standard proposed correlates well with human judgment, providing insights into the strengths and weaknesses of current I2V algorithms. The findings from our extensive experiments aim to stimulate further research and development in the I2V field. AIGCBench represents a significant step toward creating standardized benchmarks for the broader AIGC landscape, proposing an adaptable and equitable framework for future assessments of video generation tasks. We have open-sourced the dataset and evaluation code on the project website: https://www.benchcouncil.org/AIGCBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google