Gaussian Stochastic Weight Averaging for Bayesian Low-Rank Adaptation of Large Language Models

要約

ファインチューニングされた大規模言語モデル(LLM)は、特に小規模なデータセットでファインチューニングされた場合、しばしば過信や不十分なキャリブレーションに悩まされる。これらの課題に対処するため、我々はLow-Rank Adaptation(LoRA)とGaussian Stochastic Weight Averaging(SWAG)の単純な組み合わせを提案し、LLMにおける近似ベイズ推論を容易にする。いくつかの自然言語処理(NLP)ベンチマークにおける広範なテストを通して、我々は、我々の簡単で計算効率の良いアプローチが、モデルの汎化と適合を改善することを実証する。さらに、本手法が分布シフトに対してより頑健であることを、分布外タスクでの性能に反映させて示す。

要約(オリジナル)

Fine-tuned Large Language Models (LLMs) often suffer from overconfidence and poor calibration, particularly when fine-tuned on small datasets. To address these challenges, we propose a simple combination of Low-Rank Adaptation (LoRA) with Gaussian Stochastic Weight Averaging (SWAG), facilitating approximate Bayesian inference in LLMs. Through extensive testing across several Natural Language Processing (NLP) benchmarks, we demonstrate that our straightforward and computationally efficient approach improves model generalization and calibration. We further show that our method exhibits greater robustness against distribution shift, as reflected in its performance on out-of-distribution tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL