HumanVBench: Exploring Human-Centric Video Understanding Capabilities of MLLMs with Synthetic Benchmark Data

要約

マルチモーダル大規模言語モデル (MLLM) の分野では、人間中心のビデオ理解を達成することが依然として困難な課題です。
既存のベンチマークは主にオブジェクトとアクションの認識に重点を置き、ビデオ コンテンツ内の人間の感情、行動、音声の視覚的な調整の複雑なニュアンスを無視することがよくあります。
私たちは、ビデオ MLLM の評価におけるこれらのギャップを埋めるために細心の注意を払って作成された革新的なベンチマークである HumanVBench を紹介します。
HumanVBench は、静的と動的、基本と複雑、さらにはシングルモーダルとクロスモーダルの側面にわたる、内なる感情と外的な現れという 2 つの主要な側面を探求する、慎重に設計された 17 個のタスクで構成されています。
ビデオ アノテーションとディストラクタを含む QA 生成用の 2 つの高度な自動パイプラインを備えた HumanVBench は、多様な最先端 (SOTA) 技術を利用してベンチマーク データの合成と品質評価を合理化し、人間中心のマルチモーダル属性に合わせた人間によるアノテーションへの依存を最小限に抑えます。
16 個の SOTA ビデオ MLLM にわたる包括的な評価により、現在のパフォーマンス、特にクロスモーダルおよび時間的アライメントにおける顕著な制限が明らかになり、より人間らしい理解を達成するためにさらなる改良の必要性が強調されています。
HumanVBench は、ビデオ MLLM における将来の進歩と実際のアプリケーションを促進するためにオープンソース化されています。

要約(オリジナル)

In the domain of Multimodal Large Language Models (MLLMs), achieving human-centric video understanding remains a formidable challenge. Existing benchmarks primarily emphasize object and action recognition, often neglecting the intricate nuances of human emotions, behaviors, and speech visual alignment within video content. We present HumanVBench, an innovative benchmark meticulously crafted to bridge these gaps in the evaluation of video MLLMs. HumanVBench comprises 17 carefully designed tasks that explore two primary dimensions: inner emotion and outer manifestations, spanning static and dynamic, basic and complex, as well as single-modal and cross-modal aspects. With two advanced automated pipelines for video annotation and distractor-included QA generation, HumanVBench utilizes diverse state-of-the-art (SOTA) techniques to streamline benchmark data synthesis and quality assessment, minimizing human annotation dependency tailored to human-centric multimodal attributes. A comprehensive evaluation across 16 SOTA video MLLMs reveals notable limitations in current performance, especially in cross-modal and temporal alignment, underscoring the necessity for further refinement toward achieving more human-like understanding. HumanVBench is open-sourced to facilitate future advancements and real-world applications in video MLLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google