BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models

要約

大規模言語モデル (LLM) は、さまざまな自然言語処理 (NLP) タスクにわたって顕著な熟練度を示しています。
ただし、LLM をダウンストリーム アプリケーションに適応させるには、大量の計算とメモリを必要とする微調整手順が必要です。
これらの負担を軽減するために、最小限の計算オーバーヘッドで LLM を調整するための有望なアプローチとして、パラメーター効率の良い微調整 (PEFT) 手法が登場しました。
PEFT 手法には大きな利点がありますが、事前トレーニング データからのバイアス伝播という蔓延する問題には完全には対処できません。
この研究では、バイアスの継承に対抗するために設計された新しい PEFT 手法であるバイアス緩和低ランク適応 (BA-LoRA) を紹介します。
BA-LoRA には、(1) 一貫性正則化、(2) 多様性正則化、(3) 特異値分解正則化という 3 つの異なる正則化用語が組み込まれています。
これらの正則化は、微調整中のモデルの一貫性、多様性、一般化機能を強化することを目的としています。
私たちは、LLaMA、Mistral、Gemma などの著名な LLM を使用して、自然言語理解 (NLU) および自然言語生成 (NLG) タスクに関する広範な実験を行っています。
結果は、BA-LoRA が LoRA およびその最先端のバリアントよりも優れていることを示しています。
さらに、私たちの方法はトレーニング前のバイアスの悪影響を効果的に軽減し、より信頼性が高く堅牢なモデル出力をもたらします。
コードは https://github.com/cyp-jlu-ai/BA-LoRA で入手できます。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable proficiency across various natural language processing (NLP) tasks. However, adapting LLMs to downstream applications requires computationally intensive and memory-demanding fine-tuning procedures. To alleviate these burdens, parameter-efficient fine-tuning (PEFT) techniques have emerged as a promising approach to tailor LLMs with minimal computational overhead. While PEFT methods offer substantial advantages, they do not fully address the pervasive issue of bias propagation from pre-training data. This work introduces Bias-Alleviating Low-Rank Adaptation (BA-LoRA), a novel PEFT method designed to counteract bias inheritance. BA-LoRA incorporates three distinct regularization terms: (1) a consistency regularizer, (2) a diversity regularizer, and (3) a singular value decomposition regularizer. These regularizers aim to enhance the models’ consistency, diversity, and generalization capabilities during fine-tuning. We conduct extensive experiments on natural language understanding (NLU) and natural language generation (NLG) tasks using prominent LLMs such as LLaMA, Mistral, and Gemma. The results demonstrate that BA-LoRA outperforms LoRA and its state-of-the-art variants. Moreover, our method effectively mitigates the adverse effects of pre-training bias, leading to more reliable and robust model outputs. The code is available at https://github.com/cyp-jlu-ai/BA-LoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google