MLVU: A Comprehensive Benchmark for Multi-Task Long Video Understanding

要約

Long Video Understanding (LVU) パフォーマンスの評価は、重要だが困難な研究問題を引き起こします。
これまでの取り組みにも関わらず、既存のビデオ理解ベンチマークは、いくつかの問題、特にビデオの長さが不十分であること、ビデオの種類と評価タスクの多様性の欠如、LVU パフォーマンスの評価が不適切であることによって、厳しい制約を受けています。
上記の問題に対処するために、LVU の包括的かつ詳細な評価のために、MLVU (Multi-task Long Video Understanding Benchmark) と呼ばれる新しいベンチマークを提案します。
MLVU は次の重要な値を示します。 1) ビデオの長さを実質的かつ柔軟に拡張します。これにより、ベンチマークで広範囲の持続時間にわたる LVU パフォーマンスを評価できるようになります。
2) さまざまなシナリオでのモデルの LVU パフォーマンスを反映する、映画、監視映像、自己中心的なビデオ、漫画、ゲーム ビデオなどのさまざまなビデオ ジャンルを含めます。
3) 多様な評価タスクの開発。これにより、長時間ビデオの理解における MLLM の主要な能力の包括的な検査が可能になります。
20 の最新の MLLM を使用した実証研究では、既存のすべての手法が評価タスクのほとんどで困難を抱えており、長いビデオを処理すると重大なパフォーマンス低下が見られるため、今日の手法には大きな改善の余地があることが明らかになりました。
さらに、コンテキストの長さ、画像理解の品質、LLM バックボーンの選択などの要素が将来の進歩において重要な役割を果たす可能性があることを示唆しています。
MLVU が MLLM の包括的かつ詳細な分析を提供することで、長時間ビデオの理解に関する研究が前進すると期待しています。

要約(オリジナル)

The evaluation of Long Video Understanding (LVU) performance poses an important but challenging research problem. Despite previous efforts, the existing video understanding benchmarks are severely constrained by several issues, especially the insufficient lengths of videos, a lack of diversity in video types and evaluation tasks, and the inappropriateness for evaluating LVU performances. To address the above problems, we propose a new benchmark, called MLVU (Multi-task Long Video Understanding Benchmark), for the comprehensive and in-depth evaluation of LVU. MLVU presents the following critical values: 1) The substantial and flexible extension of video lengths, which enables the benchmark to evaluate LVU performance across a wide range of durations. 2) The inclusion of various video genres, e.g., movies, surveillance footage, egocentric videos, cartoons, game videos, etc., which reflects the models’ LVU performances in different scenarios. 3) The development of diversified evaluation tasks, which enables a comprehensive examination of MLLMs’ key abilities in long-video understanding. The empirical study with 20 latest MLLMs reveals significant room for improvement in today’s technique, as all existing methods struggle with most of the evaluation tasks and exhibit severe performance degradation when handling longer videos. Additionally, it suggests that factors such as context length, image-understanding quality, and the choice of LLM backbone can play critical roles in future advancements. We anticipate that MLVU will advance the research of long video understanding by providing a comprehensive and in-depth analysis of MLLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google