Unc-TTP: A Method for Classifying LLM Uncertainty to Improve In-Context Example Selection

要約

現在、Large Language Model (LLM) は、さまざまなダウンストリーム タスクにわたって優れたパフォーマンスを実証しています。
ただし、ユーザーにとって、応答が確実に生成されたものか、それともユーザーの期待に応えるために捏造されたものかを見分けるのは困難です。
LLM の不確実性を推定することは、LLM の規模が膨大であり、ホワイトボックスへのアクセスが欠如しているため、特に困難です。
この研究では、サンプリング ベースのアプローチにラベル干渉を組み込む際の LLM 出力の一貫性を評価することにより、LLM の不確実性を分類するための新しい不確実性三者テスト パラダイム (Unc-TTP) を提案します。
Unc-TTP の出力に基づいて、インスタンスを特定のカテゴリと不確実なカテゴリに集約します。
さらに、LLMの不確実性特性の詳細な分析を実行し、既存のサンプリングベースの方法に対するUnc-TTPの優位性を示します。
さらに、得られた不確実性情報を活用して、コンテキスト内のサンプルの選択をガイドし、より有益なサンプルの選択において、Unc-TTP が検索ベースおよびサンプリングベースのアプローチよりも明らかに優れていることを示しています。
私たちの研究は、オープンソースとクローズドソースの LLM の不確実性を分類する新しい方法を開拓し、この不確実性を利用して LLM のパフォーマンスを向上させる実用的なアプローチを導入します。

要約(オリジナル)

Nowadays, Large Language Models (LLMs) have demonstrated exceptional performance across various downstream tasks. However, it is challenging for users to discern whether the responses are generated with certainty or are fabricated to meet user expectations. Estimating the uncertainty of LLMs is particularly challenging due to their vast scale and the lack of white-box access. In this work, we propose a novel Uncertainty Tripartite Testing Paradigm (Unc-TTP) to classify LLM uncertainty, via evaluating the consistency of LLM outputs when incorporating label interference into the sampling-based approach. Based on Unc-TTP outputs, we aggregate instances into certain and uncertain categories. Further, we conduct a detailed analysis of the uncertainty properties of LLMs and show Unc-TTP’s superiority over the existing sampling-based methods. In addition, we leverage the obtained uncertainty information to guide in-context example selection, demonstrating that Unc-TTP obviously outperforms retrieval-based and sampling-based approaches in selecting more informative examples. Our work paves a new way to classify the uncertainty of both open- and closed-source LLMs, and introduces a practical approach to exploit this uncertainty to improve LLMs performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google