FETV: A Benchmark for Fine-Grained Evaluation of Open-Domain Text-to-Video Generation

要約

最近、オープンドメインの Text-to-Video (T2V) 生成モデルが目覚ましい進歩を遂げています。
ただし、有望な結果は主に生成されたビデオの定性的なケースによって示されていますが、T2V モデルの定量的な評価は依然として 2 つの重大な問題に直面しています。
第一に、既存の研究には、さまざまなカテゴリのテキスト プロンプトに関する T2V モデルのきめ細かい評価が欠けています。
一部のベンチマークではプロンプトを分類していますが、その分類は 1 つの側面のみに焦点を当てているか、ビデオ生成における時間情報を考慮していません。
第二に、自動評価基準が人間の基準と一致しているかどうかは不明です。
これらの問題に対処するために、テキストからビデオへの生成のきめ細かい評価のベンチマークである FETV を提案します。
FETV はマルチアスペクトであり、主要なコンテンツ、制御する属性、プロンプトの複雑さという 3 つの直交する側面に基づいてプロンプトを分類します。
FETV は時間認識も行っており、ビデオ生成に合わせて調整されたいくつかの時間カテゴリを導入しています。
FETV に基づいて、4 つの代表的な T2V モデルの包括的な手動評価を実施し、さまざまなカテゴリのプロンプトに関するさまざまな側面からの長所と短所を明らかにします。
また、自動 T2V メトリクスの信頼性を評価するためのテストベッドとして FETV を拡張します。
FETV の複数の側面による分類により、さまざまなシナリオにおけるメトリクスの信頼性をきめ細かく分析できます。
既存の自動指標 (CLIPScore や FVD など) は人間による評価との相関性が低いことがわかりました。
この問題に対処するために、CLIPScore と FVD を改善するためのいくつかのソリューションを検討し、既存の指標よりも人間との相関性が大幅に高い 2 つの自動指標を開発しました。
ベンチマークページ: https://github.com/llyx97/FETV。

要約(オリジナル)

Recently, open-domain text-to-video (T2V) generation models have made remarkable progress. However, the promising results are mainly shown by the qualitative cases of generated videos, while the quantitative evaluation of T2V models still faces two critical problems. Firstly, existing studies lack fine-grained evaluation of T2V models on different categories of text prompts. Although some benchmarks have categorized the prompts, their categorization either only focuses on a single aspect or fails to consider the temporal information in video generation. Secondly, it is unclear whether the automatic evaluation metrics are consistent with human standards. To address these problems, we propose FETV, a benchmark for Fine-grained Evaluation of Text-to-Video generation. FETV is multi-aspect, categorizing the prompts based on three orthogonal aspects: the major content, the attributes to control and the prompt complexity. FETV is also temporal-aware, which introduces several temporal categories tailored for video generation. Based on FETV, we conduct comprehensive manual evaluations of four representative T2V models, revealing their pros and cons on different categories of prompts from different aspects. We also extend FETV as a testbed to evaluate the reliability of automatic T2V metrics. The multi-aspect categorization of FETV enables fine-grained analysis of the metrics’ reliability in different scenarios. We find that existing automatic metrics (e.g., CLIPScore and FVD) correlate poorly with human evaluation. To address this problem, we explore several solutions to improve CLIPScore and FVD, and develop two automatic metrics that exhibit significant higher correlation with humans than existing metrics. Benchmark page: https://github.com/llyx97/FETV.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google