Bias-Aware Low-Rank Adaptation: Mitigating Catastrophic Inheritance of Large Language Models

要約

大規模言語モデル (LLM) は、さまざまな自然言語処理 (NLP) タスクにわたって顕著な熟練度を示しています。
ただし、LLM をダウンストリーム アプリケーションに適応させるには、通常、大量の計算とメモリを必要とする微調整手順が必要になります。
これらの負担を軽減するために、最小限の計算オーバーヘッドで LLM を調整するための有望なアプローチとして、パラメーター効率の良い微調整 (PEFT) 手法が登場しました。
PEFT 手法には大きな利点がありますが、事前トレーニング データからのバイアス伝播という蔓延する問題には完全には対処できません。
この研究では、バイアスの継承に対抗するように設計された新しい PEFT 手法である Bias-Aware Low-Rank Adaptation (BA-LoRA) を紹介します。
BA-LoRA には、(1) 一貫性正則化、(2) 多様性正則化、(3) 特異ベクトル分解正則化という 3 つの異なる正則化用語が組み込まれています。
これらの正則化機能は、微調整プロセス中に生成モデルの一貫性、多様性、一般化機能を向上させることを共同で目的としています。
LLaMA、Mistral、Gemma などの著名な LLM を使用した、さまざまな自然言語理解 (NLU) および自然言語生成 (NLG) タスクに関する広範な実験を通じて、BA-LoRA が LoRA とその現状のパフォーマンスを上回ることを実証しました。
-芸術のバリエーション。
さらに、私たちの方法は、トレーニング前のバイアスの悪影響を効果的に軽減し、より信頼性が高く堅牢なモデル出力をもたらします。
コードは https://github.com/cyp-jlu-ai/BA-LoRA で入手できます。

要約(オリジナル)

Large language models (LLMs) have exhibited remarkable proficiency across a diverse array of natural language processing (NLP) tasks. However, adapting LLMs to downstream applications typically necessitates computationally intensive and memory-demanding fine-tuning procedures. To mitigate these burdens, parameter-efficient fine-tuning (PEFT) techniques have emerged as a promising approach to tailor LLMs with minimal computational overhead. While PEFT methods offer substantial advantages, they do not fully address the pervasive issue of bias propagation from pre-training data. In this work, we introduce Bias-Aware Low-Rank Adaptation (BA-LoRA), a novel PEFT method designed to counteract bias inheritance. BA-LoRA incorporates three distinct regularization terms: (1) consistency regularizer, (2) diversity regularizer, and (3) singular vector decomposition regularizer. These regularizers collectively aim to improve the generative models’ consistency, diversity, and generalization capabilities during the fine-tuning process. Through extensive experiments on a variety of natural language understanding (NLU) and natural language generation (NLG) tasks, employing prominent LLMs such as LLaMA, Mistral, and Gemma, we demonstrate that BA-LoRA surpasses the performance of LoRA and its state-of-the-art variants. Moreover, our method effectively mitigates the deleterious effects of pre-training bias, leading to more reliable and robust model outputs. The code is available at https://github.com/cyp-jlu-ai/BA-LoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google