Long Video Understanding with Learnable Retrieval in Video-Language Models

要約

大規模な言語モデル（LLM）の驚くべき自然言語の理解、推論、および生成能力により、ビデオトークンをコンテキスト入力として利用するビデオ理解へのアプリケーションにとって魅力的になりました。
ただし、長いビデオ理解にLLMを採用すると、重要な課題があります。
幅広いビデオトークンは、集計されたトークンを使用して、視力の詳細が失われる一方で、LLMのかなりの計算コストにつながります。
さらに、豊富な質問に関係のあるトークンの存在は、ビデオ推論プロセスにノイズを導入します。
これらの問題に対処するために、効率的な長いビデオ理解のために、シンプルで効果的な学習可能な検索ベースのビデオ言語モデル（R-VLM）を紹介します。
具体的には、質問（クエリ）と長いビデオが与えられ、モデルは最も関連性の高いKビデオチャンクを識別および選択し、関連する視覚トークンを使用してLLM推論のコンテキストとして機能します。
これにより、ビデオトークンの数が効果的に削減され、ノイズ干渉がなくなり、システムのパフォーマンスが向上します。
これを実現し、学習可能な軽量MLPブロックを組み込んで、質問に関連するチャンクの効率的な検索を促進します。
複数のゼロショットビデオ質問データセットの質問に関する実験結果は、長いビデオを理解するためのフレームワークの有効性を検証します。

要約(オリジナル)

The remarkable natural language understanding, reasoning, and generation capabilities of large language models (LLMs) have made them attractive for application to video understanding, utilizing video tokens as contextual input. However, employing LLMs for long video understanding presents significant challenges. The extensive number of video tokens leads to considerable computational costs for LLMs while using aggregated tokens results in loss of vision details. Moreover, the presence of abundant question-irrelevant tokens introduces noise to the video reasoning process. To address these issues, we introduce a simple yet effective learnable retrieval-based video-language model (R-VLM) for efficient long video understanding. Specifically, given a question (query) and a long video, our model identifies and selects the most relevant K video chunks and uses their associated visual tokens to serve as context for the LLM inference. This effectively reduces the number of video tokens, eliminates noise interference, and enhances system performance. We achieve this by incorporating a learnable lightweight MLP block to facilitate the efficient retrieval of question-relevant chunks, through the end-to-end training of our video-language model with a proposed soft matching loss. Our experimental results on multiple zero-shot video question answering datasets validate the effectiveness of our framework for comprehending long videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google