Effective and Parameter-Efficient Reusing Fine-Tuned Models

要約

オンラインで提供される事前トレーニング済みの大規模モデルの多くは、下流のタスクに転送する際に非常に効果的です。
同時に、これらの事前トレーニングされたモデルに基づいて微調整されたさまざまなタスク固有のモデルが、オンラインで一般公開されています。
実際には、タスク固有のデータの収集には多大な労力がかかり、大規模な事前トレーニング済みモデルの微調整には計算コストがかかるため、下流のタスクに対処するためにタスク固有の微調整モデルを再利用できます。
ただし、タスクごとにモデルを使用すると、ストレージとサービスに大きな負担がかかります。
最近、複数の微調整されたタスク固有モデルを 1 つのマルチタスク モデルに再利用するための、トレーニング不要でパラメーター効率の高い方法が数多く提案されています。
ただし、これらの方法では、タスクごとに微調整されたモデルを使用する場合と比較して、精度に大きなギャップが見られます。
この論文では、再利用 (PERU) 微調整モデルのためのパラメーター効率の高い方法を提案します。
Fully Fine-Tuned (FFT) モデルを再利用するために、マグニチュード プルーニングによってマージされたモデルにスパース タスク ベクトルを注入する PERU-FFT を提案します。
LoRA 微調整モデルを再利用するために、PERU-LoRA が低ランク行列を使用して特異値分解によって LoRA 行列を近似することを提案します。
PERUFFT と PERU-LoRA はどちらもトレーニング不要です。
コンピューター ビジョンと自然言語プロセス タスクに関して行われた広範な実験により、提案された方法の有効性とパラメーター効率が実証されました。
提案された PERU-FFT および PERU-LoRA は、既存の再利用モデル手法を大幅に上回り、タスクごとに微調整されたモデルを使用する場合と同等のパフォーマンスを達成します。

要約(オリジナル)

Many pre-trained large-scale models provided online have become highly effective in transferring to downstream tasks. At the same time, various task-specific models fine-tuned on these pre-trained models are available online for public use. In practice, as collecting task-specific data is labor-intensive and fine-tuning the large pre-trained models is computationally expensive, one can reuse task-specific finetuned models to deal with downstream tasks. However, using a model per task causes a heavy burden on storage and serving. Recently, many training-free and parameter-efficient methods have been proposed for reusing multiple fine-tuned task-specific models into a single multi-task model. However, these methods exhibit a large accuracy gap compared with using a fine-tuned model per task. In this paper, we propose Parameter-Efficient methods for ReUsing (PERU) fine-tuned models. For reusing Fully Fine-Tuned (FFT) models, we propose PERU-FFT by injecting a sparse task vector into a merged model by magnitude pruning. For reusing LoRA fine-tuned models, we propose PERU-LoRA use a lower-rank matrix to approximate the LoRA matrix by singular value decomposition. Both PERUFFT and PERU-LoRA are training-free. Extensive experiments conducted on computer vision and natural language process tasks demonstrate the effectiveness and parameter-efficiency of the proposed methods. The proposed PERU-FFT and PERU-LoRA outperform existing reusing model methods by a large margin and achieve comparable performance to using a fine-tuned model per task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google