Uncertainty quantification in fine-tuned LLMs using LoRA ensembles

要約

大規模な言語モデルを微調整すると、タスク固有のパフォーマンスを向上させることができますが、微調整されたモデルが何を学習し、何を忘れ、その予測をどのように信頼するかについての一般的な理解はまだ不足しています。
計算効率の高い低ランク適応アンサンブルを使用して、事後近似を使用して微調整された LLM の原理に基づいた不確実性の定量化を導き出します。
私たちは、Mistral-7b に基づく低ランク適応アンサンブルを使用して 3 つの一般的な多肢選択データセットを分析し、微調整中および微調整後のさまざまなターゲット ドメインで認識される複雑さとモデルの有効性について定量的および定性的な結論を導き出します。
特に、数値実験に裏付けられた、特定のアーキテクチャでは学習することが本質的に難しいデータドメインのエントロピー不確実性測定からの信号について仮説を立てます。

要約(オリジナル)

Fine-tuning large language models can improve task specific performance, although a general understanding of what the fine-tuned model has learned, forgotten and how to trust its predictions is still missing. We derive principled uncertainty quantification for fine-tuned LLMs with posterior approximations using computationally efficient low-rank adaptation ensembles. We analyze three common multiple-choice datasets using low-rank adaptation ensembles based on Mistral-7b, and draw quantitative and qualitative conclusions on their perceived complexity and model efficacy on the different target domains during and after fine-tuning. In particular, backed by the numerical experiments, we hypothesise about signals from entropic uncertainty measures for data domains that are inherently difficult for a given architecture to learn.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google