LoRA Dropout as a Sparsity Regularizer for Overfitting Control

要約

LoRA に代表されるパラメーター効率の高い微調整手法は、大規模な事前トレーニング済みモデルを下流のタスクに適応させる際に重要な役割を果たします。
ただし、LoRA シリーズ モデルの微調整には、トレーニング データセットでの過学習のリスクにも直面していますが、LoRA ベースの PEFT 手法での過学習を制御するための理論的なガイダンスと実践的なメカニズムがまだ不足しています。
この論文では、学習可能な低ランク行列にランダム ノイズを導入し、パラメーターのスパース性を高めることにより、LoRA ベースの手法のための LoRA ドロップアウト メカニズムを提案します。
次に、このフレームワークの下で制限される一般化誤差を提供することにより、スパース正則化の観点から LoRA ドロップアウト メカニズムの理論的メカニズムを実証します。
理論的な結果は、適切なスパース性が経験的リスクと一般化リスクの間のギャップを狭め、それによって過剰適合を制御するのに役立つことを示しています。
さらに、LoRA Dropout フレームワークに基づいて、テスト時のアンサンブル戦略を導入し、アンサンブル手法が誤差限界をさらに圧縮し、推論時のパフォーマンスの向上につながることを実証する理論的証拠を提供します。
さまざまな NLP タスクに関する広範な実験により、モデルの精度とキャリブレーションの向上における LoRA ドロップアウト フレームワークの有効性が実際に検証されます。

要約(オリジナル)

Parameter-efficient fine-tuning methods, represented by LoRA, play an essential role in adapting large-scale pre-trained models to downstream tasks. However, fine-tuning LoRA-series models also faces the risk of overfitting on the training dataset, and yet there’s still a lack of theoretical guidance and practical mechanism to control overfitting on LoRA-based PEFT methods. In this paper, we propose a LoRA Dropout mechanism for the LoRA-based methods by introducing random noises to the learnable low-rank matrices and increasing parameter sparsity. We then demonstrate the theoretical mechanism of our LoRA Dropout mechanism from the perspective of sparsity regularization by providing a generalization error bound under this framework. Theoretical results show that appropriate sparsity would help tighten the gap between empirical and generalization risks and thereby control overfitting. Furthermore, based on the LoRA Dropout framework, we introduce a test-time ensemble strategy and provide theoretical evidence demonstrating that the ensemble method can further compress the error bound, and lead to better performance during inference time. Extensive experiments on various NLP tasks provide practical validations of the effectiveness of our LoRA Dropout framework in improving model accuracy and calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google