V2PE: Improving Multimodal Long-Context Capability of Vision-Language Models with Variable Visual Position Encoding

要約

ビジョン言語モデル (VLM) は、さまざまなマルチモーダル タスクの処理において有望な機能を示していますが、長いコンテキストのシナリオ、特にビデオ、高解像度の画像、または長いイメージ テキスト ドキュメントを含むタスクでは困難を伴います。
私たちの研究では、まず、拡張されたロングコンテキストのマルチモーダル データセットを使用して、VLM のロングコンテキスト機能の実証分析を実行します。
私たちの調査結果では、テキスト トークンに使用される位置エンコード メカニズムをビジュアル トークンに直接適用するのは最適ではなく、位置エンコードがモデルのコンテキスト ウィンドウを超えると VLM のパフォーマンスが急激に低下することが明らかになりました。
これに対処するために、私たちは可変ビジュアル位置エンコーディング (V2PE) を提案します。これは、ビジュアル トークンの可変でより小さな増分を採用し、長いマルチモーダル シーケンスのより効率的な管理を可能にする、新しい位置エンコーディング アプローチです。
私たちの実験は、長期にわたるマルチモーダルなコンテキストを効果的に理解し推論する VLM の能力を強化する V2PE の有効性を実証しています。
さらに、V2PE を拡張されたロングコンテキスト マルチモーダル データセットと統合して、オープンソース VLM、InternVL2 を微調整します。
微調整されたモデルは、標準タスクとロングコンテキストのマルチモーダル タスクの両方で強力なパフォーマンスを実現します。
特に、トレーニング データセットのシーケンス長が 256K トークンに増加すると、モデルは最大 100 万トークンまでのマルチモーダル シーケンスを処理でき、現実世界のロングコンテキスト アプリケーションに対する可能性が強調されます。

要約(オリジナル)

Vision-Language Models (VLMs) have shown promising capabilities in handling various multimodal tasks, yet they struggle in long-context scenarios, particularly in tasks involving videos, high-resolution images, or lengthy image-text documents. In our work, we first conduct an empirical analysis of the long-context capabilities of VLMs using our augmented long-context multimodal datasets. Our findings reveal that directly applying the positional encoding mechanism used for textual tokens to visual tokens is suboptimal, and VLM performance degrades sharply when the position encoding exceeds the model’s context window. To address this, we propose Variable Visual Position Encoding (V2PE), a novel positional encoding approach that employs variable and smaller increments for visual tokens, enabling more efficient management of long multimodal sequences. Our experiments demonstrate the effectiveness of V2PE to enhances VLMs’ ability to effectively understand and reason over long multimodal contexts. We further integrate V2PE with our augmented long-context multimodal datasets to fine-tune the open-source VLM, InternVL2. The fine-tuned model achieves strong performance on both standard and long-context multimodal tasks. Notably, when the sequence length of the training dataset is increased to 256K tokens, the model is capable of processing multimodal sequences up to 1M tokens, highlighting its potential for real-world long-context applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google