LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding

要約

大規模マルチモーダル モデル (LMM) は、ますます長く、より豊富な入力を処理しています。
進歩はあるものの、そのような発展を測定するために利用できる公的ベンチマークはほとんどありません。
このギャップを軽減するために、最長 1 時間のビデオ言語インターリーブ入力を特徴とする質問応答ベンチマークである LongVideoBench を導入します。
私たちのベンチマークには、さまざまなテーマにわたる字幕付きの Web で収集された 3,763 個のさまざまな長さのビデオが含まれており、長期的なマルチモーダルな理解に基づいて LMM を包括的に評価するように設計されています。
これを達成するために、主な課題は、長い入力から詳細なマルチモーダル情報を正確に取得して推論することであると解釈します。
そのため、参照推論と呼ばれる新しいビデオ質問応答タスクを定式化します。
具体的には、質問の一部として、参照コンテキストと呼ばれる、関連するビデオ コンテキストを参照する参照クエリが含まれています。
次にモデルは、参照されたコンテキストから関連するビデオの詳細を推論する必要があります。
参照推論のパラダイムに従って、人間が注釈を付けた 6,678 個の多肢選択式の質問を 17 のきめ細かいカテゴリにまとめ、長編ビデオの理解のための最も包括的なベンチマークの 1 つを確立しました。
評価によると、LongVideoBench は最も先進的な独自モデル (GPT-4o、Gemini-1.5-Pro、GPT-4-Turbo など) であっても重大な課題を抱えている一方、オープンソースの同等モデルではさらに大きなパフォーマンスのギャップが見られることが示唆されています。
さらに、私たちの結果は、より多くのフレームを処理できる場合にのみベンチマークでのモデルのパフォーマンスが向上することを示しており、LongVideoBench は将来世代のロングコンテキスト LMM を評価するための貴重なベンチマークとして位置づけられています。

要約(オリジナル)

Large multimodal models (LMMs) are processing increasingly longer and richer inputs. Albeit the progress, few public benchmark is available to measure such development. To mitigate this gap, we introduce LongVideoBench, a question-answering benchmark that features video-language interleaved inputs up to an hour long. Our benchmark includes 3,763 varying-length web-collected videos with their subtitles across diverse themes, designed to comprehensively evaluate LMMs on long-term multimodal understanding. To achieve this, we interpret the primary challenge as to accurately retrieve and reason over detailed multimodal information from long inputs. As such, we formulate a novel video question-answering task termed referring reasoning. Specifically, as part of the question, it contains a referring query that references related video contexts, called referred context. The model is then required to reason over relevant video details from the referred context. Following the paradigm of referring reasoning, we curate 6,678 human-annotated multiple-choice questions in 17 fine-grained categories, establishing one of the most comprehensive benchmarks for long-form video understanding. Evaluations suggest that the LongVideoBench presents significant challenges even for the most advanced proprietary models (e.g. GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo), while their open-source counterparts show an even larger performance gap. In addition, our results indicate that model performance on the benchmark improves only when they are capable of processing more frames, positioning LongVideoBench as a valuable benchmark for evaluating future-generation long-context LMMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google