Bayesian low-rank adaptation for large language models

要約

低ランク適応 (LoRA) は、大規模言語モデル (LLM) をコスト効率よく微調整するための新しいパラダイムとして登場しました。
ただし、微調整された LLM は、特に小規模なデータセットで微調整された場合に自信過剰になることがよくあります。
ベイジアン手法は、不確実性を推定する固有の能力を備えており、過信を軽減し、キャリブレーションを強化する強力なツールとして機能します。
この研究では、LoRA パラメータにベイジアン アプローチを適用する Laplace-LoRA を紹介します。
具体的には、Laplace-LoRA は LoRA パラメータの事後にラプラス近似を適用し、微調整された LLM のキャリブレーションを大幅に改善します。

要約(オリジナル)

Low-rank adaptation (LoRA) has emerged as a new paradigm for cost-efficient fine-tuning of large language models (LLMs). However, fine-tuned LLMs often become overconfident especially when fine-tuned on small datasets. Bayesian methods, with their inherent ability to estimate uncertainty, serve as potent tools to mitigate overconfidence and enhance calibration. In this work, we introduce Laplace-LoRA, which applies a Bayesian approach to the LoRA parameters. Specifically, Laplace-LoRA applies a Laplace approximation to the posterior over the LoRA parameters, considerably improving the calibration of fine-tuned LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google