MultiVENT 2.0: A Massive Multilingual Benchmark for Event-Centric Video Retrieval

要約

大規模なマルチモーダルコレクションから情報を効率的に取得して合成することが重要な課題になりました。
ただし、既存のビデオ検索データセットは範囲の制限に悩まされており、主に、記述的ではあるが曖昧なクエリと、専門的に編集された英語中心のビデオの小さなコレクションと焦点を当てています。
このギャップに対処するために、218,000を超えるニュースビデオと特定の世界イベントをターゲットにした3,906クエリのコレクションを備えた大規模で多言語イベント中心のビデオ検索ベンチマークである$ \ textbf {Multivent 2.0} $を紹介します。
これらのクエリは、視覚コンテンツ、オーディオ、埋め込みテキスト、ビデオのテキストメタデータに見られる情報を具体的にターゲットにしているため、これらのすべてのソースを活用してタスクで成功する必要があります。
予備的な結果は、最先端のビジョン言語モデルがこのタスクに大幅に格闘しており、代替アプローチは約束を示しているが、この問題に適切に対処するにはまだ不十分であることを示しています。
効果的なビデオ検索はマルチモーダルコンテンツの理解と生成に向けた重要なステップであるため、これらの調査結果は、より堅牢なマルチモーダル検索システムの必要性を強調しています。

要約(オリジナル)

Efficiently retrieving and synthesizing information from large-scale multimodal collections has become a critical challenge. However, existing video retrieval datasets suffer from scope limitations, primarily focusing on matching descriptive but vague queries with small collections of professionally edited, English-centric videos. To address this gap, we introduce $\textbf{MultiVENT 2.0}$, a large-scale, multilingual event-centric video retrieval benchmark featuring a collection of more than 218,000 news videos and 3,906 queries targeting specific world events. These queries specifically target information found in the visual content, audio, embedded text, and text metadata of the videos, requiring systems leverage all these sources to succeed at the task. Preliminary results show that state-of-the-art vision-language models struggle significantly with this task, and while alternative approaches show promise, they are still insufficient to adequately address this problem. These findings underscore the need for more robust multimodal retrieval systems, as effective video retrieval is a crucial step towards multimodal content understanding and generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google