Targeted Efficient Fine-tuning: Optimizing Parameter Updates with Data-Driven Sample Selection

要約

大規模言語モデル (LLM) のすべてのパラメーターを微調整するには、計算コストがかかります。
パラメータ効率の良い微調整 (PEFT) メソッドは、特定のパラメータを選択的に微調整することでこの問題に対処します。
パラメーター効率的微調整 (PEFT) 手法のほとんどは、微調整するパラメーターのセットを選択または導入することに重点を置いています。
しかし、パラメータ選択に対するデータサンプルの影響を考慮する方法はほとんどありません。
代表的なデータドリブン手法には、パラメータを選択する際の基準としてデータサンプルの一部をランダムに選択する FISH マスクベースの手法が含まれます。
ただし、このランダムなデータ サンプル選択方法では、不安定なデータ分布に対して最適なパラメーターを選択することはできません。
この研究では、データ中心のアプローチを導入し、FISH マスクでのサンプルとパラメーターのペアの選択を最適化するための反復範囲減少 (IRD) アルゴリズムを提案します。
IRD は、より高いフィッシャー情報を示すサンプルとパラメーターのサブセットを特定することにより、選択を繰り返し調整します。
GLUEベンチマークで実験を行うことで、提案した戦略の有効性と合理性を実証します。
実験結果は、私たちの戦略がパラメーターの選択を最適化し、いくつかの典型的なベースライン方法よりも好ましいパフォーマンスを達成することを示しています。

要約(オリジナル)

Fine-tuning all parameters of Large Language Models (LLMs) is computationally expensive. Parameter-Efficient Fine-Tuning (PEFT) methods address this by selectively fine-tuning specific parameters. Most of the parameter efficient fine-tuning (PEFT) methods center on selecting or introducing a set of parameters to be fine-tuned. However, there are few methods that consider the impact of data samples on parameter selecting. Representative data driven methods include FISH Mask based method, which randomly selects a portion of data samples as a basis when selecting parameters. However, this random data sample selection method cannot select optimal parameters for unstable data distribution. In this work, we introduce a data-centric approach and propose the Iterative Range Decreasing (IRD) algorithm to optimize the sample-parameter pair selection in FISH Mask. IRD iteratively refines the selection by identifying subsets of samples and parameters exhibiting higher Fisher information. We demonstrate the effectiveness and rationality of proposed strategy by conducting experiments on GLUE benchmark. Experimental results show our strategy optimizes the parameter selection and achieves preferable performance over some typical baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google