VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models

要約

ビデオ生成は大幅な進歩を遂げていますが、これらのモデルを評価することは依然として課題です。
ビデオ生成の包括的な評価ベンチマークは、次の 2 つの理由から不可欠です。1) 既存の指標は人間の認識と完全には一致していません。
2) 理想的な評価システムは、ビデオ生成の将来の開発に役立つ洞察を提供する必要があります。
この目的を達成するために、「ビデオ生成の品質」を特定の階層的かつ複雑な次元に分析し、それぞれに合わせたプロンプトと評価方法を備えた包括的なベンチマーク スイートである VBench を紹介します。
VBench には、いくつかの魅力的な特性があります。 1) 包括的な次元: VBench は、ビデオ生成における 16 の次元で構成されます (例: 被写体の同一性の不一致、動きの滑らかさ、時間的なちらつき、空間的関係など)。
きめ細かいレベルの評価指標により、個々のモデルの長所と短所が明らかになります。
2) 人間の整合性: 各評価次元ごとに、ベンチマークが人間の知覚と整合していることを検証するために、人間の好みのアノテーションのデータセットも提供します。
3) 貴重な洞察: さまざまな評価次元およびさまざまなコンテンツ タイプにわたって、現在のモデルの能力を調査します。
また、ビデオ生成モデルと画像生成モデルの間のギャップも調査します。
4) 多彩なベンチマーク: VBench++ は、テキストからビデオへの評価と画像からビデオへの評価をサポートしています。
適応アスペクト比を備えた高品質の Image Suite を導入し、さまざまな画像からビデオの生成設定にわたって公正な評価を可能にします。
VBench++ は、技術的な品質を評価するだけでなく、ビデオ生成モデルの信頼性を評価し、モデルのパフォーマンスのより総合的なビューを提供します。
5) 完全なオープンソース: VBench++ を完全にオープンソース化し、ビデオ生成の分野を前進させるために新しいビデオ生成モデルをリーダーボードに継続的に追加します。

要約(オリジナル)

Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human perceptions; 2) An ideal evaluation system should provide insights to inform future developments of video generation. To this end, we present VBench, a comprehensive benchmark suite that dissects ‘video generation quality’ into specific, hierarchical, and disentangled dimensions, each with tailored prompts and evaluation methods. VBench has several appealing properties: 1) Comprehensive Dimensions: VBench comprises 16 dimensions in video generation (e.g., subject identity inconsistency, motion smoothness, temporal flickering, and spatial relationship, etc). The evaluation metrics with fine-grained levels reveal individual models’ strengths and weaknesses. 2) Human Alignment: We also provide a dataset of human preference annotations to validate our benchmarks’ alignment with human perception, for each evaluation dimension respectively. 3) Valuable Insights: We look into current models’ ability across various evaluation dimensions, and various content types. We also investigate the gaps between video and image generation models. 4) Versatile Benchmarking: VBench++ supports evaluating text-to-video and image-to-video. We introduce a high-quality Image Suite with an adaptive aspect ratio to enable fair evaluations across different image-to-video generation settings. Beyond assessing technical quality, VBench++ evaluates the trustworthiness of video generative models, providing a more holistic view of model performance. 5) Full Open-Sourcing: We fully open-source VBench++ and continually add new video generation models to our leaderboard to drive forward the field of video generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google