Video-Holmes: Can MLLM Think Like Holmes for Complex Video Reasoning?

要約

COTの推論とトレーニング後のRLの最近の進歩は、MLLMのビデオ推論機能を強化するために報告されています。
この進歩は自然に疑問を提起します。これらのモデルは、人間の専門家に匹敵する方法で複雑なビデオ推論を実行できますか？
ただし、既存のビデオベンチマークは、主に視覚的な知覚と接地能力を評価し、明示的なプロンプトまたは孤立した視覚キューに基づいて回答できる質問を使用します。
このようなベンチマークは、人間が結論に達する前に複数の手がかりを積極的に検索、統合、分析する必要がある現実世界の推論の複雑さを完全に捉えていません。
この問題に対処するために、MLLMSの複雑なビデオ推論機能を評価するために設計されたSherlock Holmesの推論プロセスに触発されたベンチマークであるビデオホルムズを提示します。
Video-Holmesは、7つの慎重に設計されたタスクにまたがる270の手動注釈付きサスペンスショートフィルムから派生した1,837の質問で構成されています。
各タスクは、最初にフィルム内の主要なイベントと因果関係を識別し、次にモデルが異なるビデオセグメントに散らばる複数の関連する視覚的手がかりを積極的に見つけて接続する必要がある質問を設計することによって構築されます。
最先端のMLLMSの包括的な評価は、これらのモデルは一般に視覚的認識に優れているが、情報の統合に大きな困難に遭遇し、しばしば重要な手がかりを見逃していることを明らかにしています。
たとえば、最高のパフォーマンスモデルであるGemini-2.5-Proは、45％の精度しか得られず、ほとんどのモデルは40％未満のスコアを達成しています。
ビデオホルムは、マルチモーダル推論の「ホームズテスト」として機能し、モデルを動機付けさせて人間のように推論し、この分野で進行中の課題を強調することを目指しています。
ベンチマークはhttps://github.com/tencentarc/video-holmesでリリースされます。

要約(オリジナル)

Recent advances in CoT reasoning and RL post-training have been reported to enhance video reasoning capabilities of MLLMs. This progress naturally raises a question: can these models perform complex video reasoning in a manner comparable to human experts? However, existing video benchmarks primarily evaluate visual perception and grounding abilities, with questions that can be answered based on explicit prompts or isolated visual cues. Such benchmarks do not fully capture the intricacies of real-world reasoning, where humans must actively search for, integrate, and analyze multiple clues before reaching a conclusion. To address this issue, we present Video-Holmes, a benchmark inspired by the reasoning process of Sherlock Holmes, designed to evaluate the complex video reasoning capabilities of MLLMs. Video-Holmes consists of 1,837 questions derived from 270 manually annotated suspense short films, which spans seven carefully designed tasks. Each task is constructed by first identifying key events and causal relationships within films, and then designing questions that require models to actively locate and connect multiple relevant visual clues scattered across different video segments. Our comprehensive evaluation of state-of-the-art MLLMs reveals that, while these models generally excel at visual perception, they encounter substantial difficulties with integrating information and often miss critical clues. For example, the best-performing model, Gemini-2.5-Pro, achieves an accuracy of only 45%, with most models scoring below 40%. We aim that Video-Holmes can serve as a ‘Holmes-test’ for multimodal reasoning, motivating models to reason more like humans and emphasizing the ongoing challenges in this field. The benchmark is released in https://github.com/TencentARC/Video-Holmes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google