HawkEye: Training Video-Text LLMs for Grounding Text in Videos

要約

ビデオ テキスト大規模言語モデル (ビデオ テキスト LLM) は、質問に答えたり、簡単なビデオ上で会話したりする際に顕著なパフォーマンスを示しています。
ただし、長くて複雑なビデオにおけるランダムなグラウンディング テキスト クエリとほぼ同じように実行され、ビデオと画像の最も基本的な違いである時間情報を理解して推論する能力がほとんどありません。
この論文では、完全なテキスト対テキストの方法で時間的なビデオ グラウンディングを実行できる最初のビデオ テキスト LLM の 1 つである HawkEye を提案します。
時間的なビデオグラウンディングに適用できるトレーニングデータを収集するために、セグメントレベルのキャプションとネガティブスパンを備えた大規模なビデオテキストコーパスであるInternVid-Gを構築します。これにより、ビデオテキストに2つの新しい時間認識トレーニング目標を導入します。
LLM。
また、ビデオ内のセグメントを表現する粗粒度の方法も提案します。これは、他の代替方法よりも堅牢で、LLM が学習して従うのが簡単です。
広範な実験により、HawkEye は時間的なビデオ グラウンディングにおいて優れており、他のビデオ テキスト タスクでは既存のビデオ テキスト LLM と同等であることが示されており、その優れたビデオ テキスト マルチモーダル理解能力が実証されています。

要約(オリジナル)

Video-text Large Language Models (video-text LLMs) have shown remarkable performance in answering questions and holding conversations on simple videos. However, they perform almost the same as random on grounding text queries in long and complicated videos, having little ability to understand and reason about temporal information, which is the most fundamental difference between videos and images. In this paper, we propose HawkEye, one of the first video-text LLMs that can perform temporal video grounding in a fully text-to-text manner. To collect training data that is applicable for temporal video grounding, we construct InternVid-G, a large-scale video-text corpus with segment-level captions and negative spans, with which we introduce two new time-aware training objectives to video-text LLMs. We also propose a coarse-grained method of representing segments in videos, which is more robust and easier for LLMs to learn and follow than other alternatives. Extensive experiments show that HawkEye is better at temporal video grounding and comparable on other video-text tasks with existing video-text LLMs, which verifies its superior video-text multi-modal understanding abilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google