Grounding Partially-Defined Events in Multimodal Data

要約

ビデオの短い断片だけから、複雑な時事問題についてどのようにして知ることができるのでしょうか?
自然言語を使用すると、仕様が不十分で部分的に観察可能なイベントを簡単な方法で表現できますが、視覚データでは同様の方法が容易ではないため、イベントの理解に独特の課題が生じます。
視覚機能を備えた AI エージェントの普及が進むにつれ、これらのシステムは非構造化ビデオ データのコレクションからイベントをモデル化できる必要があります。
マルチモーダル設定で堅牢なイベント モデリングに取り組むために、部分的に定義されたイベントに対してマルチモーダル定式化を導入し、これらのイベントの抽出を 3 段階のスパン取得タスクとしてキャストします。
私たちは、このタスクに対応するベンチマークである MultiVENT-G を提案します。これは、14.5 時間の高密度に注釈が付けられた現在のイベントのビデオと、22.8K のラベル付きイベント中心のエンティティを含む 1,168 のテキスト ドキュメントで構成されます。
私たちは、マルチモーダル イベント分析のタスクに対する LLM 主導のアプローチのコレクションを提案し、MultiVENT-G 上でそれらを評価します。
結果は、抽象的なイベントの理解が引き起こす課題を示し、イベント中心のビデオ言語システムにおける有望性を示しています。

要約(オリジナル)

How are we able to learn about complex current events just from short snippets of video? While natural language enables straightforward ways to represent under-specified, partially observable events, visual data does not facilitate analogous methods and, consequently, introduces unique challenges in event understanding. With the growing prevalence of vision-capable AI agents, these systems must be able to model events from collections of unstructured video data. To tackle robust event modeling in multimodal settings, we introduce a multimodal formulation for partially-defined events and cast the extraction of these events as a three-stage span retrieval task. We propose a corresponding benchmark for this task, MultiVENT-G, that consists of 14.5 hours of densely annotated current event videos and 1,168 text documents, containing 22.8K labeled event-centric entities. We propose a collection of LLM-driven approaches to the task of multimodal event analysis, and evaluate them on MultiVENT-G. Results illustrate the challenges that abstract event understanding poses and demonstrates promise in event-centric video-language systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google