MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios

要約

マルチモーダル大手言語モデル（MLLM）は、静的画像から光学文字認識（OCR）でかなりの精度を達成しています。
ただし、ビデオOCRでの有効性は、動画ぼかし、時間的変動、ビデオコンテンツに固有の視覚効果などの要因により、大幅に減少しています。
実用的なMLLMSをトレーニングするためのより明確なガイダンスを提供するために、包括的な範囲のビデオOCRアプリケーションシナリオを含むMME-Videoocrベンチマークを紹介します。
MME-Videoocrは、25の個別のタスクで構成される10のタスクカテゴリを備えており、44の多様なシナリオにまたがっています。
これらのタスクは、ビデオ内にテキストコンテンツのより深い理解と推論を組み込むために、テキスト認識を超えて拡張されています。
ベンチマークは、さまざまな解像度、アスペクト比、および期間を備えた1,464個のビデオと、2,000個の細心の注意を払った手動で注釈された質問分配ペアで構成されています。
MME-Videoococで18の最先端のMLLMを評価し、最高のパフォーマンスモデル（Gemini-2.5Pro）でさえ73.7％の精度を達成していることが明らかになりました。
微調整された分析は、既存のMLLMが単一のフレームまたは少数のフレーム内に関連するテキストが含まれているタスクで強力なパフォーマンスを示しているが、ホリスティックなビデオ理解を要求するタスクを効果的に処理する際に限られた機能を示すことを示しています。
これらの制限は、時空間の推論、クロスフレーム情報統合、または言語の事前バイアスに対する抵抗を必要とするシナリオで特に顕著です。
また、私たちの調査結果は、ダイナミックビデオシナリオでの信頼できるOCRの高解像度の視覚入力と十分な時間的カバレッジの重要性を強調しています。

要約(オリジナル)

Multimodal Large Language Models (MLLMs) have achieved considerable accuracy in Optical Character Recognition (OCR) from static images. However, their efficacy in video OCR is significantly diminished due to factors such as motion blur, temporal variations, and visual effects inherent in video content. To provide clearer guidance for training practical MLLMs, we introduce the MME-VideoOCR benchmark, which encompasses a comprehensive range of video OCR application scenarios. MME-VideoOCR features 10 task categories comprising 25 individual tasks and spans 44 diverse scenarios. These tasks extend beyond text recognition to incorporate deeper comprehension and reasoning of textual content within videos. The benchmark consists of 1,464 videos with varying resolutions, aspect ratios, and durations, along with 2,000 meticulously curated, manually annotated question-answer pairs. We evaluate 18 state-of-the-art MLLMs on MME-VideoOCR, revealing that even the best-performing model (Gemini-2.5 Pro) achieves an accuracy of only 73.7%. Fine-grained analysis indicates that while existing MLLMs demonstrate strong performance on tasks where relevant texts are contained within a single or few frames, they exhibit limited capability in effectively handling tasks that demand holistic video comprehension. These limitations are especially evident in scenarios that require spatio-temporal reasoning, cross-frame information integration, or resistance to language prior bias. Our findings also highlight the importance of high-resolution visual input and sufficient temporal coverage for reliable OCR in dynamic video scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google