PPLLaVA: Varied Video Sequence Understanding With Prompt Guidance

要約

過去 1 年で、ビデオベースの大規模言語モデルが大幅に進歩しました。
ただし、短いビデオと長いビデオの両方を理解するための統一モデルを開発するという課題は未解決のままです。
既存のビデオ LLM のほとんどは 1 時間のビデオを処理できませんが、長いビデオ用にカスタムされたメソッドは短いビデオや画像には効果がない傾向があります。
このペーパーでは、ビデオ内の冗長なコンテンツが重要な問題であると特定します。
これに対処するために、トークン圧縮と命令を意識した視覚的特徴の集約を同時に達成する新しいプーリング戦略を提案します。
私たちのモデルは、Prompt-guided Pooling LLaVA (略して PPLLaVA) と呼ばれます。
具体的には、PPLLaVA は 3 つのコア コンポーネントで構成されます。ユーザーの指示に関連する視覚情報を抽出する CLIP ベースのビジュアル プロンプト アライメント、コンボリューション スタイルのプーリングを使用してビジュアル シーケンスを任意のスケールに圧縮するプロンプト ガイド付きプーリング、およびクリップ コンテキストです。
視覚的な対話で一般的な長いプロンプト用に設計された拡張機能。
さらに、当社のコードベースには、最先端のビデオ Direct Preference Optimization (DPO) とビジュアル インターリーブ トレーニングも統合されています。
広範な実験により、モデルのパフォーマンスが検証されました。
優れたスループットとわずか 1024 個のビジュアル コンテキストを備えた PPLLaVA は、ビデオ LLM として画像ベンチマークでより良い結果を達成すると同時に、さまざまなビデオ ベンチマーク全体で最先端のパフォーマンスを実現し、キャプションの生成から多肢選択式の質問に至るまでのタスクに優れています。
数秒から数時間までのビデオの長さを処理します。
コードは https://github.com/farewellthree/PPLLaVA で入手できます。

要約(オリジナル)

The past year has witnessed the significant advancement of video-based large language models. However, the challenge of developing a unified model for both short and long video understanding remains unresolved. Most existing video LLMs cannot handle hour-long videos, while methods custom for long videos tend to be ineffective for shorter videos and images. In this paper, we identify the key issue as the redundant content in videos. To address this, we propose a novel pooling strategy that simultaneously achieves token compression and instruction-aware visual feature aggregation. Our model is termed Prompt-guided Pooling LLaVA, or PPLLaVA for short. Specifically, PPLLaVA consists of three core components: the CLIP-based visual-prompt alignment that extracts visual information relevant to the user’s instructions, the prompt-guided pooling that compresses the visual sequence to arbitrary scales using convolution-style pooling, and the clip context extension designed for lengthy prompt common in visual dialogue. Moreover, our codebase also integrates the most advanced video Direct Preference Optimization (DPO) and visual interleave training. Extensive experiments have validated the performance of our model. With superior throughput and only 1024 visual context, PPLLaVA achieves better results on image benchmarks as a video LLM, while achieving state-of-the-art performance across various video benchmarks, excelling in tasks ranging from caption generation to multiple-choice questions, and handling video lengths from seconds to hours. Codes have been available at https://github.com/farewellthree/PPLLaVA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google