Long Context Transfer from Language to Vision

要約

ビデオ シーケンスは貴重な時間情報を提供しますが、既存の大規模マルチモーダル モデル (LMM) では、非常に長いビデオを理解するには不十分です。
多くの作品は、ビジュアル リサンプラーを使用してビジュアル トークンの数を減らすことでこの問題に対処しています。
あるいは、この論文では、言語モデルの観点からこの問題にアプローチします。
言語バックボーンのコンテキスト長を単純に推定することにより、LMM はビデオ トレーニングなしで、桁違いに多くのビジュアル トークンを理解できるようになります。
私たちはこの現象をロングコンテキスト転送と呼び、その特性を注意深く除去します。
視覚モダリティにおける長いコンテキストに一般化する LMM の能力を効果的に測定するために、言語モデルの NIAH テストに触発された純粋に合成された長期視覚ベンチマークである V-NIAH (Visual Needle-In-A-Haystack) を開発しました。
私たちが提案する Long Video Assistant (LongVA) は、複雑さを増すことなく 2000 フレームまたは 200K を超えるビジュアル トークンを処理できます。
LongVA は、拡張されたコンテキスト長により、より多くの入力フレームを高密度にサンプリングすることで、7B スケール モデルの中で Video-MME で最先端のパフォーマンスを実現します。
私たちの研究は https://github.com/EvolvingLMMs-Lab/LongVA でオープンソース化されています。

要約(オリジナル)

Video sequences offer valuable temporal information, but existing large multimodal models (LMMs) fall short in understanding extremely long videos. Many works address this by reducing the number of visual tokens using visual resamplers. Alternatively, in this paper, we approach this problem from the perspective of the language model. By simply extrapolating the context length of the language backbone, we enable LMMs to comprehend orders of magnitude more visual tokens without any video training. We call this phenomenon long context transfer and carefully ablate its properties. To effectively measure LMMs’ ability to generalize to long contexts in the vision modality, we develop V-NIAH (Visual Needle-In-A-Haystack), a purely synthetic long vision benchmark inspired by the language model’s NIAH test. Our proposed Long Video Assistant (LongVA) can process 2000 frames or over 200K visual tokens without additional complexities. With its extended context length, LongVA achieves state-of-the-art performance on Video-MME among 7B-scale models by densely sampling more input frames. Our work is open-sourced at https://github.com/EvolvingLMMs-Lab/LongVA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google