Subjective-Aligned Dataset and Metric for Text-to-Video Quality Assessment

要約

生成モデルの急速な発展により、人工知能生成コンテンツ (AIGC) が日常生活で飛躍的に増加しました。
中でも、Text-to-Video (T2V) 生成は広く注目を集めています。
知覚品質の高いビデオを生成するために多くの T2V モデルがリリースされていますが、これらのビデオの品質を定量的に評価する方法はまだ不足しています。
この問題を解決するために、私たちはこれまでで最大規模の Text-to-Video 品質評価データベース (T2VQA-DB) を確立しました。
データセットは、9 つ​​の異なる T2V モデルによって生成された 10,000 のビデオで構成されています。
また、主観的な調査を実施して、各動画の対応する平均意見スコアを取得します。
T2VQA-DB に基づいて、主観に合わせた Text-to-Video 品質評価 (T2VQA) のための新しいトランスフォーマー ベースのモデルを提案します。
このモデルは、テキストとビデオの位置合わせとビデオの忠実度の観点から特徴を抽出し、大規模な言語モデルの機能を利用して予測スコアを与えます。
実験結果は、T2VQA が既存の T2V メトリクスおよび SOTA ビデオ品質評価モデルよりも優れていることを示しています。
定量分析により、T2VQA が主観的一致予測を提供できることが示され、その有効性が検証されました。
データセットとコードは https://github.com/QMME/T2VQA でリリースされます。

要約(オリジナル)

With the rapid development of generative models, Artificial Intelligence-Generated Contents (AIGC) have exponentially increased in daily lives. Among them, Text-to-Video (T2V) generation has received widespread attention. Though many T2V models have been released for generating high perceptual quality videos, there is still lack of a method to evaluate the quality of these videos quantitatively. To solve this issue, we establish the largest-scale Text-to-Video Quality Assessment DataBase (T2VQA-DB) to date. The dataset is composed of 10,000 videos generated by 9 different T2V models. We also conduct a subjective study to obtain each video’s corresponding mean opinion score. Based on T2VQA-DB, we propose a novel transformer-based model for subjective-aligned Text-to-Video Quality Assessment (T2VQA). The model extracts features from text-video alignment and video fidelity perspectives, then it leverages the ability of a large language model to give the prediction score. Experimental results show that T2VQA outperforms existing T2V metrics and SOTA video quality assessment models. Quantitative analysis indicates that T2VQA is capable of giving subjective-align predictions, validating its effectiveness. The dataset and code will be released at https://github.com/QMME/T2VQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google