BLoB: Bayesian Low-Rank Adaptation by Backpropagation for Large Language Models

要約

大規模な言語モデル（LLM）は、特に限られたデータを持つダウンストリームドメイン固有のタスクに適応した場合、推論中に自信過剰に苦しむことがよくあります。
以前の研究では、LLMSが訓練された後のおおよそのベイジアン推定を採用することにより、この問題に対処し、不確実性を定量化できるようにします。
ただし、このようなトレーニング後のアプローチのパフォーマンスは、トレーニング中に学習したパラメーターによって厳しく制限されています。
この論文では、トレーニング後のベイジアン化を超えて、Backpropagation（BLOB）によるベイジアン低ランク適応を提案します。これは、微調整プロセス全体でLLMパラメーターの平均と共分散を継続的かつ共同で調整するアルゴリズムです。
私たちの経験的結果は、分散貢献と分配不足の両方のデータで評価された場合、一般化と不確実性の推定の観点からBLOBの有効性を検証します。

要約(オリジナル)

Large Language Models (LLMs) often suffer from overconfidence during inference, particularly when adapted to downstream domain-specific tasks with limited data. Previous work addresses this issue by employing approximate Bayesian estimation after the LLMs are trained, enabling them to quantify uncertainty. However, such post-training approaches’ performance is severely limited by the parameters learned during training. In this paper, we go beyond post-training Bayesianization and propose Bayesian Low-Rank Adaptation by Backpropagation (BLoB), an algorithm that continuously and jointly adjusts both the mean and covariance of LLM parameters throughout the whole fine-tuning process. Our empirical results verify the effectiveness of BLoB in terms of generalization and uncertainty estimation, when evaluated on both in-distribution and out-of-distribution data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google