MultiVENT 2.0: A Massive Multilingual Benchmark for Event-Centric Video Retrieval

要約

大規模で多様なコレクションから情報を効率的に取得して合成することが重要な課題となっています。
ただし、既存のビデオ検索データセットは範囲制限に悩まされており、主に専門的に編集された英語中心のビデオの小さなコレクションと、説明的だが曖昧なクエリを照合することに重点を置いています。
このギャップに対処するために、$\textbf{MultiVENT 2.0}$ を導入しました。これは、特定の世界の出来事を対象とした 218,000 以上のニュース ビデオと 3,906 のクエリのコレクションを特徴とする大規模な多言語イベント中心のビデオ検索ベンチマークです。
これらのクエリは、ビデオのビジュアル コンテンツ、オーディオ、埋め込みテキスト、およびテキスト メタデータに含まれる情報を特にターゲットにしており、システムがタスクを成功させるにはこれらすべてのソースを活用する必要があります。
予備的な結果は、最先端の視覚言語モデルがこの課題にかなり苦戦しており、代替アプローチは有望であるものの、この問題に適切に対処するにはまだ不十分であることを示しています。
これらの発見は、効果的なビデオ検索がマルチモーダルなコンテンツの理解と生成タスクに向けた重要なステップであるため、より堅牢なマルチモーダル検索システムの必要性を強調しています。

要約(オリジナル)

Efficiently retrieving and synthesizing information from large-scale multimodal collections has become a critical challenge. However, existing video retrieval datasets suffer from scope limitations, primarily focusing on matching descriptive but vague queries with small collections of professionally edited, English-centric videos. To address this gap, we introduce $\textbf{MultiVENT 2.0}$, a large-scale, multilingual event-centric video retrieval benchmark featuring a collection of more than 218,000 news videos and 3,906 queries targeting specific world events. These queries specifically target information found in the visual content, audio, embedded text, and text metadata of the videos, requiring systems leverage all these sources to succeed at the task. Preliminary results show that state-of-the-art vision-language models struggle significantly with this task, and while alternative approaches show promise, they are still insufficient to adequately address this problem. These findings underscore the need for more robust multimodal retrieval systems, as effective video retrieval is a crucial step towards multimodal content understanding and generation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google