要約
この1年で、ビデオベースの大規模言語モデルが大きく進歩した。しかし、短い動画と長い動画の両方を理解するための統一されたモデルを開発するという課題は未解決のままである。既存の動画LLMのほとんどは、1時間の動画を扱うことができず、一方、長い動画用にカスタム化された手法は、短い動画や画像には効果がない傾向がある。本論文では、動画中の冗長なコンテンツが重要な問題であることを明らかにする。これに対処するため、トークン圧縮と命令を意識した視覚的特徴集約を同時に達成する新しいプーリング戦略を提案する。我々のモデルはPrompt-guided Pooling LLaVA、略してPPLLaVAと呼ばれる。具体的には、PPLLaVAは、ユーザの指示に関連する視覚情報を抽出するCLIPベースの視覚プロンプトアライメント、畳み込みスタイルのプーリングを使用して視覚シーケンスを任意のスケールに圧縮するプロンプトガイドプーリング、および視覚対話で一般的な長いプロンプト用に設計されたクリップコンテキスト拡張の3つのコアコンポーネントで構成される。さらに、我々のコードベースは、最先端のビデオDirect Preference Optimization (DPO)とビジュアルインターリーブトレーニングも統合している。広範な実験により、我々のモデルの性能が検証された。PPLLaVAは、優れたスループットと1024ビジュアルコンテキストだけで、ビデオLLMとして画像ベンチマークでより良い結果を達成する一方、様々なビデオベンチマークで最先端の性能を達成し、キャプション生成から多肢選択問題まで、また数秒から数時間までのビデオの長さを扱うタスクで優れている。コードはhttps://github.com/farewellthree/PPLLaVA。
要約(オリジナル)
The past year has witnessed the significant advancement of video-based large language models. However, the challenge of developing a unified model for both short and long video understanding remains unresolved. Most existing video LLMs cannot handle hour-long videos, while methods custom for long videos tend to be ineffective for shorter videos and images. In this paper, we identify the key issue as the redundant content in videos. To address this, we propose a novel pooling strategy that simultaneously achieves token compression and instruction-aware visual feature aggregation. Our model is termed Prompt-guided Pooling LLaVA, or PPLLaVA for short. Specifically, PPLLaVA consists of three core components: the CLIP-based visual-prompt alignment that extracts visual information relevant to the user’s instructions, the prompt-guided pooling that compresses the visual sequence to arbitrary scales using convolution-style pooling, and the clip context extension designed for lengthy prompt common in visual dialogue. Moreover, our codebase also integrates the most advanced video Direct Preference Optimization (DPO) and visual interleave training. Extensive experiments have validated the performance of our model. With superior throughput and only 1024 visual context, PPLLaVA achieves better results on image benchmarks as a video LLM, while achieving state-of-the-art performance across various video benchmarks, excelling in tasks ranging from caption generation to multiple-choice questions, and handling video lengths from seconds to hours. Codes have been available at https://github.com/farewellthree/PPLLaVA.
arxiv情報
| 著者 | Ruyang Liu,Haoran Tang,Haibo Liu,Yixiao Ge,Ying Shan,Chen Li,Jiankun Yang |
| 発行日 | 2024-11-04 17:50:36+00:00 |
| arxivサイト | arxiv_id(pdf) |