Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning

要約

大規模なビジョン言語 (VL) モデルを効率的に構築するための現在のソリューションは、2 段階のパラダイムに従います。つまり、事前トレーニングされたビジョン エンコーダーの出力を、事前トレーニングされた言語モデルの入力空間に視覚的なプロンプトとして投影します。
次に、エンドツーエンドのパラメーター効率の良い微調整 (PEFT) を介してモデルを下流の VL タスクに転送します。
ただし、このパラダイムは言語モデルの入力長が大幅に増加するため、依然として非効率的です。
この論文では、視覚的プロンプトを入力に統合するのとは対照的に、視覚的プロンプトを、視覚情報に関連するタスクに対処する際の言語モデルを容易にする追加の知識とみなします。
言語モデルのフィードフォワード ネットワーク (FFN) が「キーと値のメモリ」として機能するという発見を動機として、メモリ空間ビジュアル プロンプティング (MemVP) と呼ばれる新しいアプローチを導入します。このアプローチでは、ビジュアル プロンプトが FFN の重みと連結されます。
視覚的な知識の注入。
さまざまな VL タスクと言語モデルにわたる実験結果から、MemVP が微調整された VL モデルのトレーニング時間と推論レイテンシを大幅に短縮し、以前の PEFT 手法のパフォーマンスを上回ることが明らかになりました。
コード: https://github.com/JieShibo/MemVP

要約(オリジナル)

Current solutions for efficiently constructing large vision-language (VL) models follow a two-step paradigm: projecting the output of pre-trained vision encoders to the input space of pre-trained language models as visual prompts; and then transferring the models to downstream VL tasks via end-to-end parameter-efficient fine-tuning (PEFT). However, this paradigm still exhibits inefficiency since it significantly increases the input length of the language models. In this paper, in contrast to integrating visual prompts into inputs, we regard visual prompts as additional knowledge that facilitates language models in addressing tasks associated with visual information. Motivated by the finding that Feed-Forward Network (FFN) of language models acts as ‘key-value memory’, we introduce a novel approach termed memory-space visual prompting (MemVP), wherein visual prompts are concatenated with the weights of FFN for visual knowledge injection. Experimental results across various VL tasks and language models reveal that MemVP significantly reduces the training time and inference latency of the finetuned VL models and surpasses the performance of previous PEFT methods. Code: https://github.com/JieShibo/MemVP

arxiv情報

提供元, 利用サービス

arxiv.jp, Google