TUNA: Comprehensive Fine-grained Temporal Understanding Evaluation on Dense Dynamic Videos

要約

ビデオは、カメラ、シーン、アクション、属性など、時間の経過とともに動的な関係を含む一時的な要素の統合においてユニークです。
ただし、ビデオ理解のための既存のベンチマークは、これらのプロパティを個別に扱うか、特定の側面に狭く焦点を当て、ビデオコンテンツの全体的な性質を見下ろすことがよくあります。
これに対処するために、キャプションとQAという2つの補完的なタスクを備えた、密集したダイナミックビデオで細粒の理解を得るための一時的なベンチマークであるマグロを紹介します。
私たちのマグロには、さまざまなビデオシナリオとダイナミクスがあり、解釈可能で堅牢な評価基準によって支援されています。
ベンチマーク上のいくつかの主要なモデルを評価し、さまざまな次元できめ細かいパフォーマンス評価を提供します。
この評価は、制限されたアクションの説明、不十分なマルチサブジェクトの理解、カメラの動きに対する無感覚など、ビデオの時間的理解における重要な課題を明らかにし、ビデオ理解モデルを改善するための貴重な洞察を提供します。
データとコードは、https：//friedrichor.github.io/projects/tunaで入手できます。

要約(オリジナル)

Videos are unique in their integration of temporal elements, including camera, scene, action, and attribute, along with their dynamic relationships over time. However, existing benchmarks for video understanding often treat these properties separately or narrowly focus on specific aspects, overlooking the holistic nature of video content. To address this, we introduce TUNA, a temporal-oriented benchmark for fine-grained understanding on dense dynamic videos, with two complementary tasks: captioning and QA. Our TUNA features diverse video scenarios and dynamics, assisted by interpretable and robust evaluation criteria. We evaluate several leading models on our benchmark, providing fine-grained performance assessments across various dimensions. This evaluation reveals key challenges in video temporal understanding, such as limited action description, inadequate multi-subject understanding, and insensitivity to camera motion, offering valuable insights for improving video understanding models. The data and code are available at https://friedrichor.github.io/projects/TUNA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google