IncreLoRA: Incremental Parameter Allocation Method for Parameter-Efficient Fine-tuning

要約

事前トレーニング済み言語モデル (PLM) のサイズが増大するにつれて、モデル内のすべてのパラメーターを微調整することは効率的ではなくなります。特に、大量のトレーニングとストレージのコストがかかる下流タスクが存在する場合は効率的ではありません。
多くのパラメータ効率の良い微調整 (PEFT) アプローチが提案されていますが、その中でも、低ランク適応 (LoRA) は、トレーニング可能なランク分解行列をすべてのターゲット モジュールに注入する代表的なアプローチです。
しかし、LoRA はさまざまなモジュールのパラメータの重要性を無視しています。
この問題に対処するために、LoRA のパラメータを削減するための多くの研究が提案されています。
ただし、トレーニング条件が限られている場合、プルーニングされたパラメーター行列のランクの上限は依然としてプリセット値の影響を受けます。
そこで、我々は、各モジュールの重要度スコアに基づいてトレーニング中にトレーニング可能なパラメータを適応的に追加する増分パラメータ割り当て手法である IncreLoRA を提案します。
このアプローチは、トレーニング パラメーターの初期数によって制限されず、各パラメーター行列には同じトレーニング オーバーヘッドに対してより高いランクの上限があるため、枝刈り方法とは異なります。
当社では、IncreLoRA の有効性を実証するために、GLUE に関する広範な実験を行っています。
結果は、特に私たちのメソッドがベースラインを大幅に上回る低リソース設定の下で、私たちのメソッドがより高いパラメーター効率を持っていることを示しています。
私たちのコードは公開されています。

要約(オリジナル)

With the increasing size of pre-trained language models (PLMs), fine-tuning all the parameters in the model is not efficient, especially when there are a large number of downstream tasks, which incur significant training and storage costs. Many parameter-efficient fine-tuning (PEFT) approaches have been proposed, among which, Low-Rank Adaptation (LoRA) is a representative approach that injects trainable rank decomposition matrices into every target module. Yet LoRA ignores the importance of parameters in different modules. To address this problem, many works have been proposed to prune the parameters of LoRA. However, under limited training conditions, the upper bound of the rank of the pruned parameter matrix is still affected by the preset values. We, therefore, propose IncreLoRA, an incremental parameter allocation method that adaptively adds trainable parameters during training based on the importance scores of each module. This approach is different from the pruning method as it is not limited by the initial number of training parameters, and each parameter matrix has a higher rank upper bound for the same training overhead. We conduct extensive experiments on GLUE to demonstrate the effectiveness of IncreLoRA. The results show that our method owns higher parameter efficiency, especially when under the low-resource settings where our method significantly outperforms the baselines. Our code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google