Concept-skill Transferability-based Data Selection for Large Vision-Language Models

要約

大規模ビジョン言語モデル (LVLM) が広範囲のビジョン言語 (VL) タスクにわたって適切に一般化するには、広範なタスク固有データに対する命令チューニング、つまり教師あり微調整が必​​要です。
ただし、大規模な VL データセットでのトレーニングは非常に高価になる可能性があります。
この研究では、多様性と伝達性に焦点を当て、ターゲット LVLM を効率的に微調整するための視覚的命令調整データを選択するための参照モデルとして小さなモデルを使用する、効果的でスケーラブルなデータ選択手法である COINCIDE を紹介します。
具体的には、小規模モデルからの内部アクティベーションを使用してトレーニング データをクラスター化し、ターゲット LVLM に必要な VL コンセプトとスキルの構成を特定します。
次に、その密度と移行可能性、つまり他のコンセプトとスキルの構成に適切に移行する能力を考慮して、これらの多様なクラスターからデータをサンプリングします。
このアプローチにより、LVLM の一般化にとって不可欠な、これらの構成の多様性が保証されます。
広範な実験により、COINCIDE が 2 つの異なるデータセット (LLaVA-1.5 と Vision-Flan) 上の 8 つの強力なベースラインに対して優れたパフォーマンスとデータ選択効率を達成することが実証されました。
COINCIDE は、LLaVA-1.5 データセットの 20% のみを使用して、データセット全体で微調整された LVLM に匹敵するパフォーマンスを達成し、実時間の実行時間を 70% 削減します。
Vision-Flan データセットでは、私たちの方法はトレーニング データのわずか 16.7% で優れた結果を達成しました。

要約(オリジナル)

Instruction tuning, or supervised finetuning on extensive task-specific data, is necessary for Large Vision-Language Models (LVLMs) to generalize well across a broad range of vision-language (VL) tasks. However, training on large VL datasets can become prohibitively expensive. In this work, we introduce COINCIDE, an effective and scalable data selection technique that uses a small model as a reference model to select visual instruction tuning data for efficient finetuning of a target LVLM, focusing on diversity and transferability. Specifically, we cluster the training data using internal activations from a small model, which identifies VL concept-skill compositions needed by a target LVLM. We then sample data from these diverse clusters by considering their density and transferability, or the ability to transfer well to other concept-skill compositions. This approach ensures the diversity of these compositions, which is vital for LVLM generalization. Extensive experiments demonstrate that COINCIDE achieves superior performance and data selection efficiency against 8 strong baselines on two distinct datasets: LLaVA-1.5 and Vision-Flan. Using only 20% of the LLaVA-1.5 dataset, COINCIDE achieves performance comparable to the LVLM finetuned on the whole dataset, with 70% reduction of the wall-clock running time. On the Vision-Flan dataset, our method achieves superior results with only 16.7% of the training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google