Addressing Uncertainty in LLMs to Enhance Reliability in Generative AI

要約

この論文では、大規模言語モデル (LLM) の推論における不確実性に対処することを目的とした、中華レストラン プロセスにヒントを得た動的セマンティック クラスタリング アプローチを紹介します。
生成されたセマンティック クラスターのエントロピーを計算することで、特定のクエリに対する LLM の不確実性を定量化します。
さらに、これらのクラスターの（負の）尤度を等角予測フレームワーク内の（不）適合スコアとして利用することを提案します。これにより、モデルが単一の出力ではなく一連の応答を予測できるようになり、それによって予測の不確実性が考慮されます。
2 つの LLM、Llama2 と Mistral を利用して、2 つのよく知られた質問応答ベンチマーク、COQA と TriviaQA に対する不確実性定量化 (UQ) 手法の有効性を実証します。
私たちのアプローチは、AUROC、AUARC、AURAC などの指標によって評価されるように、UQ で SOTA パフォーマンスを達成します。
提案された等角予測子は、既存の SOTA 等角予測ベースラインと比較して、正しい応答を含むという同じ確率的保証を維持しながら、より小さな予測セットを生成することも示されています。

要約(オリジナル)

In this paper, we present a dynamic semantic clustering approach inspired by the Chinese Restaurant Process, aimed at addressing uncertainty in the inference of Large Language Models (LLMs). We quantify uncertainty of an LLM on a given query by calculating entropy of the generated semantic clusters. Further, we propose leveraging the (negative) likelihood of these clusters as the (non)conformity score within Conformal Prediction framework, allowing the model to predict a set of responses instead of a single output, thereby accounting for uncertainty in its predictions. We demonstrate the effectiveness of our uncertainty quantification (UQ) technique on two well known question answering benchmarks, COQA and TriviaQA, utilizing two LLMs, Llama2 and Mistral. Our approach achieves SOTA performance in UQ, as assessed by metrics such as AUROC, AUARC, and AURAC. The proposed conformal predictor is also shown to produce smaller prediction sets while maintaining the same probabilistic guarantee of including the correct response, in comparison to existing SOTA conformal prediction baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google