Recoverable Compression: A Multimodal Vision Token Recovery Mechanism Guided by Text Information

要約

大規模言語モデリング技術の進歩に伴い、ビジュアル エンコーダと大規模言語モデルを組み合わせた大規模マルチモーダル モデルは、さまざまなビジュアル タスクにおいて優れたパフォーマンスを実証しています。
現在の大規模マルチモーダル モデルのほとんどは、ビジュアル エンコーダーから取得した視覚的特徴を大規模な言語モデルにマッピングし、それらを下流タスクのテキストと並んで入力として使用することでこれを実現しています。
したがって、ビジュアル トークンの数はモデルのトレーニングと推論の速度に直接影響します。
ビジュアル トランスフォーマーのトークン プルーニングについては多大な研究が行われてきましたが、大規模なマルチモーダル モデルの場合、トークン プルーニングや圧縮を視覚情報のみに依存すると、重要な情報が大幅に失われる可能性があります。
一方、質問の形式でのテキスト入力には、質問への回答に役立つ貴重な情報が含まれている可能性があり、追加の知識をモデルに提供します。
ほとんどの純粋に視覚的なトークン プルーニング手法で発生する可能性がある潜在的な過度の単純化と過剰なプルーニングに対処するために、トレーニングを必要としない、テキスト情報に基づいた動的視覚トークン回復メカニズムを提案します。
このメカニズムは、質問テキストと視覚的トークンの類似性を利用して、重要なテキスト情報を含む視覚的に意味のあるトークンを回復し、同時に他の重要性の低いトークンをマージします。
実験結果は、私たちが提案した方法が、ビジュアルトークンを元の量の平均10％に圧縮しながら、元のアプローチと同等のパフォーマンスを達成することを示しています。
私たちのソースコードは、承認後に公開されます。

要約(オリジナル)

With the advancement of large-scale language modeling techniques, large multimodal models combining visual encoders with large language models have demonstrated exceptional performance in various visual tasks. Most of the current large-scale multimodal models achieve this by mapping visual features obtained from the visual encoder into a large language model and using them as inputs alongside text for downstream tasks. Therefore, the number of visual tokens directly affects the training and inference speed of the model. There has been significant work on token pruning for visual transformers, but for large multimodal models, only relying on visual information for token pruning or compression may lead to significant loss of important information. On the other hand, the textual input in the form of a question may contain valuable information that can aid in answering the question, providing additional knowledge to the model. To address the potential oversimplification and excessive pruning that can occur with most purely visual token pruning methods, we propose a text information-guided dynamic visual token recovery mechanism that does not require training. This mechanism leverages the similarity between the question text and visual tokens to recover visually meaningful tokens with important text information while merging other less important tokens. Experimental results demonstrate that our proposed method achieves comparable performance to the original approach while compressing the visual tokens to an average of 10% of the original quantity. Our source code will be made publicly available following acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google