Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers

要約

幻覚は、大規模な言語モデル（LLMS）の持続的な問題です。
これらのモデルがヘルスケアやファイナンスなどのハイステークスドメインでますます使用されるようになるにつれて、効果的な幻覚検出の必要性が非常に重要です。
この目的のために、実務家が実際のユースケースに適用できるゼロリソースの幻覚検出のための多目的なフレームワークを提案します。
これを達成するために、ブラックボックスUQ、ホワイトボックスUQ、およびLLM-a-a-judgeなどのさまざまな既存の不確実性定量化（UQ）手法を適応させ、必要に応じて0から1の範囲の標準化された応答レベルの信頼スコアに変換します。
このアプローチにより、実務家は、パフォーマンスを改善するために特定のユースケースのアンサンブルを最適化できます。
実装を合理化するために、このペーパーのコンパニオンPython Toolkit、UQLMで得点者の完全なスイートが提供されています。
さまざまな得点者のパフォーマンスを評価するために、いくつかのLLMの質問アンウェーベンチマークを使用して、広範な実験セットを実施します。
調整可能なアンサンブルは通常、個々のコンポーネントを上回り、既存の幻覚検出方法を上回ることがわかります。
私たちの結果は、LLMの精度と信頼性を改善するためのカスタマイズされた幻覚検出戦略の利点を示しています。

要約(オリジナル)

Hallucinations are a persistent problem with Large Language Models (LLMs). As these models become increasingly used in high-stakes domains, such as healthcare and finance, the need for effective hallucination detection is crucial. To this end, we propose a versatile framework for zero-resource hallucination detection that practitioners can apply to real-world use cases. To achieve this, we adapt a variety of existing uncertainty quantification (UQ) techniques, including black-box UQ, white-box UQ, and LLM-as-a-Judge, transforming them as necessary into standardized response-level confidence scores ranging from 0 to 1. To enhance flexibility, we introduce a tunable ensemble approach that incorporates any combination of the individual confidence scores. This approach enables practitioners to optimize the ensemble for a specific use case for improved performance. To streamline implementation, the full suite of scorers is offered in this paper’s companion Python toolkit, UQLM. To evaluate the performance of the various scorers, we conduct an extensive set of experiments using several LLM question-answering benchmarks. We find that our tunable ensemble typically surpasses its individual components and outperforms existing hallucination detection methods. Our results demonstrate the benefits of customized hallucination detection strategies for improving the accuracy and reliability of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google