Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis

要約

汎用人工知能の探求において、マルチモーダル大規模言語モデル (MLLM) が最近の進歩の焦点として浮上しています。
ただし、依然として主な焦点は、静的画像の理解における能力の開発にあります。
逐次視覚データの処理における MLLM の可能性はまだ十分に検討されておらず、そのパフォーマンスの包括的で高品質な評価が存在しないことが浮き彫りになっています。
このペーパーでは、ビデオ分析における MLLM の史上初のフルスペクトル マルチモーダル評価ベンチマークである Video-MME を紹介します。
私たちの取り組みは、次の 4 つの主要な特徴によって既存のベンチマークと区別されます。 1) ビデオ タイプの多様性。6 つの主要な視覚ドメインと 30 のサブフィールドにまたがり、広範なシナリオの汎用性を確保します。
2) 時間次元での継続時間は、短期、中期、長期のビデオの両方を含み、11 秒から 1 時間の範囲で、堅牢なコンテキスト ダイナミクスを実現します。
3) データ モダリティの幅広さ。字幕やオーディオを含むビデオ フレーム以外のマルチモーダル入力を統合し、MLLM のオールラウンドな機能を明らかにします。
4) アノテーションの品質。専門のアノテーターによる厳密な手動ラベル付けを利用して、正確で信頼性の高いモデル評価を促進します。
合計 256 時間の 900 本のビデオが手動で選択され、すべてのビデオ コンテンツを繰り返し視聴して注釈が付けられ、結果として 2,700 の質問と回答のペアが作成されます。
Video-MME を使用して、GPT-4 シリーズや Gemini 1.5 Pro を含むさまざまな最先端の MLLM だけでなく、InternVL-Chat-V1.5 などのオープンソース画像モデルや LLaVA- などのビデオ モデルも広範囲に評価しています。
ネクストビデオ。
私たちの実験では、Gemini 1.5 Pro が最もパフォーマンスの高い商用モデルであり、オープンソース モデルを大幅に上回っていることが明らかになりました。
私たちのデータセットとこれらの発見は、より長いシーケンスとマルチモーダルデータの処理におけるさらなる改善の必要性を強調しています。
プロジェクトページ: https://video-mme.github.io

要約(オリジナル)

In the quest for artificial general intelligence, Multi-modal Large Language Models (MLLMs) have emerged as a focal point in recent advancements. However, the predominant focus remains on developing their capabilities in static image understanding. The potential of MLLMs in processing sequential visual data is still insufficiently explored, highlighting the absence of a comprehensive, high-quality assessment of their performance. In this paper, we introduce Video-MME, the first-ever full-spectrum, Multi-Modal Evaluation benchmark of MLLMs in Video analysis. Our work distinguishes from existing benchmarks through four key features: 1) Diversity in video types, spanning 6 primary visual domains with 30 subfields to ensure broad scenario generalizability; 2) Duration in temporal dimension, encompassing both short-, medium-, and long-term videos, ranging from 11 seconds to 1 hour, for robust contextual dynamics; 3) Breadth in data modalities, integrating multi-modal inputs besides video frames, including subtitles and audios, to unveil the all-round capabilities of MLLMs; 4) Quality in annotations, utilizing rigorous manual labeling by expert annotators to facilitate precise and reliable model assessment. 900 videos with a total of 256 hours are manually selected and annotated by repeatedly viewing all the video content, resulting in 2,700 question-answer pairs. With Video-MME, we extensively evaluate various state-of-the-art MLLMs, including GPT-4 series and Gemini 1.5 Pro, as well as open-source image models like InternVL-Chat-V1.5 and video models like LLaVA-NeXT-Video. Our experiments reveal that Gemini 1.5 Pro is the best-performing commercial model, significantly outperforming the open-source models. Our dataset along with these findings underscores the need for further improvements in handling longer sequences and multi-modal data. Project Page: https://video-mme.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google