PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection

要約

ビジュアルインストラクションチューニングにより、事前に訓練されたマルチモーダル大手言語モデル（MLLM）を改良して、実際のタスクパフォ​​ーマンスを向上させます。
ただし、視覚命令データセットの急速な拡大により、重要なデータ冗長性が導入され、過度の計算コストが発生します。
既存のデータ選択方法は、主にプロキシモデルまたは損失ベースのメトリックに依存しており、どちらもモデル推論とバックプロパゲーションの必要性のためにかなりの計算オーバーヘッドを課します。
この課題に対処するために、効率的なマルチモーダルデータ選択のための新しいトレーニングなしのアプローチであるPrismを提案します。
既存の方法とは異なり、Prismはプロキシモデル、ウォームアップ前orain、勾配ベースの最適化への依存を排除​​します。
代わりに、ピアソン相関分析を活用してMLLMの固有の視覚エンコード特性を定量化し、タスク固有の相関スコアを計算して高価値インスタンスを識別します。
これは、データ効率の高い選択だけでなく、元のパフォーマンスを維持します。
複数のMLLMにわたる経験的評価は、プリズムが視覚指導の調整とデータ選択に必要な全体の時間を従来の方法の30％に短縮することを示しています。
最終的なパフォーマンスで。

要約(オリジナル)

Visual instruction tuning refines pre-trained Multimodal Large Language Models (MLLMs) to enhance their real-world task performance. However, the rapid expansion of visual instruction datasets introduces significant data redundancy, leading to excessive computational costs. Existing data selection methods predominantly rely on proxy models or loss-based metrics, both of which impose substantial computational overheads due to the necessity of model inference and backpropagation. To address this challenge, we propose PRISM, a novel training-free approach for efficient multimodal data selection. Unlike existing methods, PRISM eliminates the reliance on proxy models, warm-up pretraining, and gradient-based optimization. Instead, it leverages Pearson correlation analysis to quantify the intrinsic visual encoding properties of MLLMs, computing a task-specific correlation score to identify high-value instances. This not only enbles data-efficient selection,but maintains the original performance. Empirical evaluations across multiple MLLMs demonstrate that PRISM reduces the overall time required for visual instruction tuning and data selection to just 30% of conventional methods, while surpassing fully fine-tuned models across eight multimodal and three language understanding benchmarks, achieving a 101.7% relative improvement in final performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google