SynopGround: A Large-Scale Dataset for Multi-Paragraph Video Grounding from TV Dramas and Synopses

要約

ビデオ グラウンディングは、マルチモーダル コンテンツの理解における基本的な問題であり、トリミングされていないビデオ内の特定の自然言語クエリをローカライズすることを目的としています。
ただし、現在のビデオグラウンディングデータセットは単純なイベントに焦点を当てているだけで、短いビデオまたは短い文章に限定されているため、モデルがより強力なマルチモーダル理解機能に進化することが妨げられています。
これらの制限に対処するために、SynopGround という名前の大規模なビデオ グラウンディング データセットを紹介します。このデータセットでは、2,800 時間以上のビデオが人気のテレビ ドラマからソースされ、正確にローカライズされた人間が書いたシノプシスと組み合わせられています。
概要の各段落は言語クエリとして機能し、長いビデオ内で正確な時間的境界を手動で注釈付けされます。
これらの段落クエリは相互に密接に相関しており、ビデオのストーリーラインを要約した抽象的な表現や、イベントの詳細を描写する具体的な説明が豊富に含まれており、これによりモデルは、より長いコンテキスト依存関係にわたって、より複雑な概念に関するマルチモーダルな認識を学習できるようになります。
データセットに基づいて、マルチパラグラフ ビデオ グラウンディング (MPVG) と呼ばれるビデオ グラウンディングのより複雑な設定をさらに導入します。これは、入力として複数の段落と、各段落クエリをその時間間隔にグラウンディングするための長いビデオを受け取ります。
さらに、MPVG の長期マルチモーダル入力のローカル-グローバル構造を明示的にモデル化する新しいローカル-グローバル マルチモーダル リーズナー (LGMR) を提案します。
私たちの方法は、複数段落のビデオグラウンディングの問題に対する効果的なベースラインソリューションを提供します。
広範な実験により、提案されたモデルの有効性と、長期にわたる複数段落のビデオ基礎における従来の最先端技術に対するその優位性が検証されています。
データセットとコードは公開されています。
プロジェクトページ: https://synopground.github.io/。

要約(オリジナル)

Video grounding is a fundamental problem in multimodal content understanding, aiming to localize specific natural language queries in an untrimmed video. However, current video grounding datasets merely focus on simple events and are either limited to shorter videos or brief sentences, which hinders the model from evolving toward stronger multimodal understanding capabilities. To address these limitations, we present a large-scale video grounding dataset named SynopGround, in which more than 2800 hours of videos are sourced from popular TV dramas and are paired with accurately localized human-written synopses. Each paragraph in the synopsis serves as a language query and is manually annotated with precise temporal boundaries in the long video. These paragraph queries are tightly correlated to each other and contain a wealth of abstract expressions summarizing video storylines and specific descriptions portraying event details, which enables the model to learn multimodal perception on more intricate concepts over longer context dependencies. Based on the dataset, we further introduce a more complex setting of video grounding dubbed Multi-Paragraph Video Grounding (MPVG), which takes as input multiple paragraphs and a long video for grounding each paragraph query to its temporal interval. In addition, we propose a novel Local-Global Multimodal Reasoner (LGMR) to explicitly model the local-global structures of long-term multimodal inputs for MPVG. Our method provides an effective baseline solution to the multi-paragraph video grounding problem. Extensive experiments verify the proposed model’s effectiveness as well as its superiority in long-term multi-paragraph video grounding over prior state-of-the-arts. Dataset and code are publicly available. Project page: https://synopground.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google