ReTaKe: Reducing Temporal and Knowledge Redundancy for Long Video Understanding

要約

ビデオ大規模な言語モデル（Videollms）は、ビデオ理解において顕著な進歩を遂げています。
ただし、既存のVideollmsは、長いシーケンスを処理する際にバックボーンLLMの制限を継承し、長いビデオ理解のための課題につながります。
一般的なソリューションは、ビデオのフレームを均一にサンプリングするか、視覚的なトークンを圧縮する単純に、主に低レベルの時間的視覚冗長性に焦点を当て、高レベルの知識冗長性を見落とします。
これにより、達成可能な圧縮率が最小限の損失で制限されます。
この目的を達成するために。
2つの新しいモジュールDPSelectとPIVOTKVを含むトレーニングフリーメソッド$ \ textBf {retake} $を導入して、長いビデオ理解のための時間的視覚的冗長性と知識冗長性の両方を共同でモデル化して減らします。
具体的には、DPSelectは、視覚的特徴に基づいて、局所的な最大ピーク距離でキーフレームを識別します。これは、人間のビデオ認識と密接に整合しています。
PivotKVは、取得したキーフレームをPIVOTSとして採用し、LLMの学習事前知識から導き出される注意スコアの低い非ピボットトークンのKVキャッシュ圧縮を実施します。
ベンチマークでの実験VideMomme、MLVU、およびLVBenchは、パフォーマンスの損失を最小限に抑えて4倍長いビデオシーケンスをサポートし（<1％）、3％-5％ですべての同様のサイズのビデオオルムを上回ることができることを示しています。 私たちのコードは、https：//github.com/sczwangxiao/video-retakeで入手できます

要約(オリジナル)

Video Large Language Models (VideoLLMs) have achieved remarkable progress in video understanding. However, existing VideoLLMs often inherit the limitations of their backbone LLMs in handling long sequences, leading to challenges for long video understanding. Common solutions either simply uniformly sample videos’ frames or compress visual tokens, which focus primarily on low-level temporal visual redundancy, overlooking high-level knowledge redundancy. This limits the achievable compression rate with minimal loss. To this end. we introduce a training-free method, $\textbf{ReTaKe}$, containing two novel modules DPSelect and PivotKV, to jointly model and reduce both temporal visual redundancy and knowledge redundancy for long video understanding. Specifically, DPSelect identifies keyframes with local maximum peak distance based on their visual features, which are closely aligned with human video perception. PivotKV employs the obtained keyframes as pivots and conducts KV-Cache compression for the non-pivot tokens with low attention scores, which are derived from the learned prior knowledge of LLMs. Experiments on benchmarks VideoMME, MLVU, and LVBench, show that ReTaKe can support 4x longer video sequences with minimal performance loss (<1%) and outperform all similar-size VideoLLMs with 3%-5%, even surpassing or on par with much larger ones. Our code is available at https://github.com/SCZwangxiao/video-ReTaKe

arxiv情報

提供元, 利用サービス

arxiv.jp, Google