Data-oriented Dynamic Fine-tuning Parameter Selection Strategy for FISH Mask based Efficient Fine-tuning

要約

大規模言語モデル (LLM) の膨大な数のパラメーターを考慮すると、すべてのパラメーターを調整すると非常にコストがかかるため、特定のパラメーターを微調整する方が賢明です。
パラメータ効率的微調整 (PEFT) のほとんどは、加算法、選択法、再パラメータ化ベースの方法などのパラメータ選択戦略に焦点を当てています。
しかし、フィッシュマスクベースの方法のように、データサンプルがパラメータ選択に与える影響を考慮した方法はほとんどありません。
フィッシュマスクは、パラメータ選択時にデータサンプルの一部をランダムに選択し、それらを平等に扱います。これにより、不均一なデータ分布に対して最適なパラメータを動的に選択することができません。
この研究では、データ指向の観点を採用し、IRD ($\mathrm{\underline I}$terative sample-parameter $\mathrm{\underline R}$ange $\mathrm{\underline D}$ecreasing) を提案します。
) FISH マスクのサンプルとパラメーターのペアの最適な設定を検索するアルゴリズム。
各反復で、より大きな Fish 情報を含むサンプルとパラメーターのセットを検索することで、IRD はほとんどのスケールでより適切なサンプルとパラメーターのペアを見つけることができます。
GLUEベンチマークで実験を行うことで、提案した戦略の有効性と合理性を実証します。
実験結果は、私たちの戦略がパラメーターの選択を最適化し、望ましいパフォーマンスを達成することを示しています。

要約(オリジナル)

In view of the huge number of parameters of Large language models (LLMs) , tuning all parameters is very costly, and accordingly fine-tuning specific parameters is more sensible. Most of parameter efficient fine-tuning (PEFT) concentrate on parameter selection strategies, such as additive method, selective method and reparametrization-based method. However, there are few methods that consider the impact of data samples on parameter selecting, such as Fish Mask based method. Fish Mask randomly choose a part of data samples and treat them equally during parameter selection, which is unable to dynamically select optimal parameters for inconstant data distributions. In this work, we adopt a data-oriented perspective, then proposing an IRD ($\mathrm{\underline I}$terative sample-parameter $\mathrm{\underline R}$ange $\mathrm{\underline D}$ecreasing) algorithm to search the best setting of sample-parameter pair for FISH Mask. In each iteration, by searching the set of samples and parameters with larger Fish information, IRD can find better sample-parameter pair in most scale. We demonstrate the effectiveness and rationality of proposed strategy by conducting experiments on GLUE benchmark. Experimental results show our strategy optimizes the parameter selection and achieves preferable performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google