Semantic Volume: Quantifying and Detecting both External and Internal Uncertainty in LLMs

要約

大規模言語モデル（LLM）は、膨大な量の事実知識を符号化することで、様々なタスクにおいて目覚ましい性能を発揮してきた。しかし、LLMは依然として幻覚を起こしやすく、しばしば高い不確実性を伴う誤った情報や誤解を招く情報を生成する。幻覚検出のための既存の手法は、主にモデル内の知識の欠落や矛盾から生じる内部不確実性の定量化に焦点を当てている。しかし、幻覚は、曖昧なユーザクエリが複数の解釈の可能性を導くような、外部の不確実性にも起因することがある。本研究では、LLMにおける外部および内部の不確実性を定量化するための新しい数学的尺度であるセマンティックボリュームを導入する。我々のアプローチは、クエリと応答を変化させ、それらを意味空間に埋め込み、埋め込みベクトルのグラム行列の行列式を計算し、不確実性の尺度としてそれらの分散を捉える。我々のフレームワークは、LLMへの内部アクセスを必要とせず、一般化可能で教師なし不確実性検出法を提供する。我々は、外部および内部の不確実性検出に関する広範な実験を行い、我々のセマンティックボリューム法が、両方のタスクにおいて既存のベースラインを常に上回ることを実証する。さらに、セマンティックエントロピーのような従来のサンプリングに基づく不確かさ尺度を統一し拡張することで、我々の尺度と微分エントロピーを結びつける理論的洞察を提供する。セマンティックボリュームは、ユーザクエリとモデル応答の両方における不確実性を系統的に検出することで、LLMの信頼性を向上させるロバストで解釈可能なアプローチであることが示された。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable performance across diverse tasks by encoding vast amounts of factual knowledge. However, they are still prone to hallucinations, generating incorrect or misleading information, often accompanied by high uncertainty. Existing methods for hallucination detection primarily focus on quantifying internal uncertainty, which arises from missing or conflicting knowledge within the model. However, hallucinations can also stem from external uncertainty, where ambiguous user queries lead to multiple possible interpretations. In this work, we introduce Semantic Volume, a novel mathematical measure for quantifying both external and internal uncertainty in LLMs. Our approach perturbs queries and responses, embeds them in a semantic space, and computes the determinant of the Gram matrix of the embedding vectors, capturing their dispersion as a measure of uncertainty. Our framework provides a generalizable and unsupervised uncertainty detection method without requiring internal access to LLMs. We conduct extensive experiments on both external and internal uncertainty detection, demonstrating that our Semantic Volume method consistently outperforms existing baselines in both tasks. Additionally, we provide theoretical insights linking our measure to differential entropy, unifying and extending previous sampling-based uncertainty measures such as the semantic entropy. Semantic Volume is shown to be a robust and interpretable approach to improving the reliability of LLMs by systematically detecting uncertainty in both user queries and model responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL