Zero-Shot Vision Encoder Grafting via LLM Surrogates

要約

ビジョン言語モデル（VLMS）は通常、控えめなサイズのビジョンエンコーダーと大きな言語モデル（LLM）、例えばLLAMA-70Bとペアになり、トレーニング中にデコーダーを主要な計算負担にします。
コストを削減するために、潜在的な有望な戦略は、最初に小さな言語モデルを使用してビジョンエンコーダーをトレーニングしてから、大きな言語モデルに転送することです。
浅い層を直接継承することにより、大きなターゲットLLMと同じ埋め込みスペースと表現言語を共有する小さな「サロゲートモデル」を構築します。
サロゲートでトレーニングされたビジョンエンコーダーは、フルサイズのターゲットLLMに直接接続すると、ゼロショットグラフトと呼ばれるプロセスであるより大きなモデルに直接転送できます。グラフトされたペアは、エンコーダシュロゲートペアを上回り、一部のベンチマークでは、ターゲットLLMとの完全なデコーダートレーニングと同等のパフォーマンスを発揮します。
さらに、サロゲートトレーニングアプローチは、LLAMA-70Bをデコーダーとして使用すると、全体的なVLMトレーニングコストを約45％削減します。

要約(オリジナル)

Vision language models (VLMs) typically pair a modestly sized vision encoder with a large language model (LLM), e.g., Llama-70B, making the decoder the primary computational burden during training. To reduce costs, a potential promising strategy is to first train the vision encoder using a small language model before transferring it to the large one. We construct small ‘surrogate models’ that share the same embedding space and representation language as the large target LLM by directly inheriting its shallow layers. Vision encoders trained on the surrogate can then be directly transferred to the larger model, a process we call zero-shot grafting — when plugged directly into the full-size target LLM, the grafted pair surpasses the encoder-surrogate pair and, on some benchmarks, even performs on par with full decoder training with the target LLM. Furthermore, our surrogate training approach reduces overall VLM training costs by ~45% when using Llama-70B as the decoder.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google