Minimal Ranks, Maximum Confidence: Parameter-efficient Uncertainty Quantification for LoRA

要約

低ランク適応（LORA）により、重量の更新を低ランクマトリックスに分解し、ストレージと計算オーバーヘッドを大幅に削減することにより、大きな言語モデルのパラメーター効率の高い微調整を可能にします。
効果的ですが、標準のLORAには不確実性の定量化のメカニズムがあり、自信過剰で較正されていないモデルにつながります。
LORAのベイジアンバリエーションはこの制限に対処しますが、トレーニング可能なパラメーターの数が大幅に増加したため、元の効率性の向上を部分的に相殺します。
さらに、これらのモデルは訓練が難しく、不安定な収束に苦しむ可能性があります。
この作業では、新しいパラメーター効率の高いベイジアンロラを提案し、非常に低次元パラメータースペースで効果的な不確実性の定量化が達成できることを実証します。
提案された方法は、計算効率を維持しながら、キャリブレーションと一般化の改善により強力なパフォーマンスを実現します。
私たちの経験的調査結果は、重量空間の適切な投影により、（1）不確実性を低次元空間で効果的にモデル化できることを示しています。

要約(オリジナル)

Low-Rank Adaptation (LoRA) enables parameter-efficient fine-tuning of large language models by decomposing weight updates into low-rank matrices, significantly reducing storage and computational overhead. While effective, standard LoRA lacks mechanisms for uncertainty quantification, leading to overconfident and poorly calibrated models. Bayesian variants of LoRA address this limitation, but at the cost of a significantly increased number of trainable parameters, partially offsetting the original efficiency gains. Additionally, these models are harder to train and may suffer from unstable convergence. In this work, we propose a novel parameter-efficient Bayesian LoRA, demonstrating that effective uncertainty quantification can be achieved in very low-dimensional parameter spaces. The proposed method achieves strong performance with improved calibration and generalization while maintaining computational efficiency. Our empirical findings show that, with the appropriate projection of the weight space: (1) uncertainty can be effectively modeled in a low-dimensional space, and (2) weight covariances exhibit low ranks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google