VF-Eval: Evaluating Multimodal LLMs for Generating Feedback on AIGC Videos

要約

MLLMSは、最近のビデオ質問のために広く研究されています。
ただし、既存の評価のほとんどは、AIの生成コンテンツ（AIGC）などの合成ビデオを見下ろす自然なビデオに焦点を当てています。
一方、ビデオ生成のいくつかの作品は、生成されたビデオの品質を評価するためにMLLMSに依存していますが、AIGCビデオの解釈に関するMLLMSの機能はほとんど露出度の低いままです。
これに対処するために、AGCビデオでMLLMSの能力を包括的に評価するための4つのタスク – コヒーレンスの検証、エラー認識、エラータイプの検出、推論評価を導入する新しいベンチマークであるVF-Evalを提案します。
VF-Evalで13のフロンティアMLLMを評価し、最高のパフォーマンスモデルであるGPT-4.1でさえ、すべてのタスクで一貫して優れたパフォーマンスを達成するのに苦労していることがわかります。
これは、ベンチマークの挑戦的な性質を強調しています。
さらに、ビデオ生成の改善におけるVF-Valの実用的なアプリケーションを調査するために、実験を実施し、再繰り返し、MLLMを人間のフィードバックとより密接に調整することでビデオ生成に利益をもたらすことを実証します。

要約(オリジナル)

MLLMs have been widely studied for video question answering recently. However, most existing assessments focus on natural videos, overlooking synthetic videos, such as AI-generated content (AIGC). Meanwhile, some works in video generation rely on MLLMs to evaluate the quality of generated videos, but the capabilities of MLLMs on interpreting AIGC videos remain largely underexplored. To address this, we propose a new benchmark, VF-Eval, which introduces four tasks-coherence validation, error awareness, error type detection, and reasoning evaluation-to comprehensively evaluate the abilities of MLLMs on AIGC videos. We evaluate 13 frontier MLLMs on VF-Eval and find that even the best-performing model, GPT-4.1, struggles to achieve consistently good performance across all tasks. This highlights the challenging nature of our benchmark. Additionally, to investigate the practical applications of VF-Eval in improving video generation, we conduct an experiment, RePrompt, demonstrating that aligning MLLMs more closely with human feedback can benefit video generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google