Effective and Parameter-Efficient Reusing Fine-Tuned Models

要約

オンラインで提供されている多くの事前訓練された大規模モデルは、下流タスクへの移行に非常に有効になっている。同時に、これらの事前学習済みモデルを基に微調整された様々なタスク固有モデルが、オンラインで一般公開されている。実際には、タスクごとのデータ収集には労力がかかり、大規模な事前学習済みモデルの微調整には計算コストがかかるため、タスクごとに微調整されたモデルを再利用することで、下流のタスクに対応することができる。しかし、タスクごとにモデルを使用することは、ストレージやサービスに大きな負担をかけることになる。近年、複数のタスク別モデルを単一のマルチタスクモデルに再利用する、訓練不要でパラメータ効率の良い手法が数多く提案されている。しかし、これらの手法では、タスクごとに微調整されたモデルを用いる場合と比較して、精度に大きな隔たりがある。本論文では、Parameter-Efficient methods for ReUsing (PERU) fine-tuned modelsを提案する。完全微調整(FFT)モデルを再利用するために、スパースタスクベクトルをマグニチュードプルーニングによりマージモデルに注入するPERU-FFTを提案する。LoRAファインチューニングモデルを再利用するために、特異値分解によりLoRA行列を近似する低ランク行列を用いるPERU-LoRAを提案する。PERUFFTとPERU-LoRAは共に訓練不要である。コンピュータビジョンと自然言語処理タスクに対して行った広範な実験により、提案手法の有効性とパラメータ効率が実証された。提案するPERU-FFTとPERU-LoRAは、既存のモデル再利用法を大きく上回り、タスクごとに微調整したモデルを用いるのと同等の性能を達成する。

要約(オリジナル)

Many pre-trained large-scale models provided online have become highly effective in transferring to downstream tasks. At the same time, various task-specific models fine-tuned on these pre-trained models are available online for public use. In practice, as collecting task-specific data is labor-intensive and fine-tuning the large pre-trained models is computationally expensive, one can reuse task-specific finetuned models to deal with downstream tasks. However, using a model per task causes a heavy burden on storage and serving. Recently, many training-free and parameter-efficient methods have been proposed for reusing multiple fine-tuned task-specific models into a single multi-task model. However, these methods exhibit a large accuracy gap compared with using a fine-tuned model per task. In this paper, we propose Parameter-Efficient methods for ReUsing (PERU) fine-tuned models. For reusing Fully Fine-Tuned (FFT) models, we propose PERU-FFT by injecting a sparse task vector into a merged model by magnitude pruning. For reusing LoRA fine-tuned models, we propose PERU-LoRA use a lower-rank matrix to approximate the LoRA matrix by singular value decomposition. Both PERUFFT and PERU-LoRA are training-free. Extensive experiments conducted on computer vision and natural language process tasks demonstrate the effectiveness and parameter-efficiency of the proposed methods. The proposed PERU-FFT and PERU-LoRA outperform existing reusing model methods by a large margin and achieve comparable performance to using a fine-tuned model per task.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL