Uncertainty Decomposition and Quantification for In-Context Learning of Large Language Models

要約

インコンテキスト学習は、大規模言語モデル (LLM) の画期的な機能として登場し、プロンプトでいくつかのタスク関連のデモンストレーションを提供することで、さまざまな分野に革命をもたらしました。
ただし、幻覚など、LLM の対応に関する信頼できる問題についても活発に議論されています。
既存の研究は、LLM の応答の不確実性を定量化することに専念してきましたが、LLM の複雑な性質やコンテキスト内学習の独自性を見落とすことがよくあります。
この研究では、コンテキスト内学習に関連する LLM の予測不確実性を詳しく掘り下げ、そのような不確実性が、提供されたデモンストレーション (偶然性の不確実性) とモデルの構成に関連付けられた曖昧さ (認識論的な不確実性) の両方に由来する可能性があることを強調します。
両方のタイプの不確実性を定量化するための新しい定式化と対応する推定方法を提案します。
提案された方法は、プラグアンドプレイ形式でコンテキスト内学習の予測を理解するための教師なしの方法を提供します。
分解の有効性を実証するために大規模な実験が行われています。
コードとデータは \url{https://github.com/lingchen0331/UQ_ICL} から入手できます。

要約(オリジナル)

In-context learning has emerged as a groundbreaking ability of Large Language Models (LLMs) and revolutionized various fields by providing a few task-relevant demonstrations in the prompt. However, trustworthy issues with LLM’s response, such as hallucination, have also been actively discussed. Existing works have been devoted to quantifying the uncertainty in LLM’s response, but they often overlook the complex nature of LLMs and the uniqueness of in-context learning. In this work, we delve into the predictive uncertainty of LLMs associated with in-context learning, highlighting that such uncertainties may stem from both the provided demonstrations (aleatoric uncertainty) and ambiguities tied to the model’s configurations (epistemic uncertainty). We propose a novel formulation and corresponding estimation method to quantify both types of uncertainties. The proposed method offers an unsupervised way to understand the prediction of in-context learning in a plug-and-play fashion. Extensive experiments are conducted to demonstrate the effectiveness of the decomposition. The code and data are available at: \url{https://github.com/lingchen0331/UQ_ICL}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google