Unifying Specialized Visual Encoders for Video Language Models

要約

最近の大規模言語モデル（Large Language Models：LLM）の出現は、ビデオ大規模言語モデル（Video Large Language Models：VideoLLM）を通して、洗練された推論能力をビデオの領域にもたらした。しかし、VideoLLMは現在、全ての視覚処理を単一の視覚エンコーダに依存しており、LLMに伝えられる視覚情報の量と種類が制限されている。我々の手法であるMERV（Multi-Encoder Representation of Videos）は、代わりに複数の凍結された視覚エンコーダを活用して、ビデオの統一的な表現を作成し、VideoLLMに専門的な視覚知識の包括的なセットを提供する。それぞれのエンコーダからの特徴を時空間的に整合させることで、より幅広い自由形式や多肢選択式の動画理解問題に取り組むことができ、先行する最先端の研究よりも優れた結果を得ることができる。MERVはVideo-LLaVAよりも標準的なビデオ理解ベンチマークにおいて3.7%精度が向上し、Video-ChatGPTのスコアも向上しました。また、ゼロショット知覚テストの精度でこれまで最高であったSeViLAを2.2%向上させました。MERVは、視覚処理を並列化しながら、余分なパラメータを最小限に抑え、同等のシングルエンコーダ法よりも高速に学習します。最後に、MERVがそれぞれのエンコーダからドメイン知識をうまく取り込んでいるという定性的証拠を示す。我々の結果は、包括的なビデオ理解のために複数の視覚エンコーダを利用することに有望な方向性を与える。

要約(オリジナル)

The recent advent of Large Language Models (LLMs) has ushered sophisticated reasoning capabilities into the realm of video through Video Large Language Models (VideoLLMs). However, VideoLLMs currently rely on a single vision encoder for all of their visual processing, which limits the amount and type of visual information that can be conveyed to the LLM. Our method, MERV, Multi-Encoder Representation of Videos, instead leverages multiple frozen visual encoders to create a unified representation of a video, providing the VideoLLM with a comprehensive set of specialized visual knowledge. Spatio-temporally aligning the features from each encoder allows us to tackle a wider range of open-ended and multiple-choice video understanding questions and outperform prior state-of-the-art works. MERV is up to 3.7% better in accuracy than Video-LLaVA across the standard suite video understanding benchmarks, while also having a better Video-ChatGPT score. We also improve upon SeViLA, the previous best on zero-shot Perception Test accuracy, by 2.2%. MERV introduces minimal extra parameters and trains faster than equivalent single-encoder methods while parallelizing the visual processing. Finally, we provide qualitative evidence that MERV successfully captures domain knowledge from each of its encoders. Our results offer promising directions in utilizing multiple vision encoders for comprehensive video understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL