Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space

要約

大規模言語モデル（Large Language Models: LLM）の様々な領域への応用が広まるにつれ、幻覚を見たり誤った情報を生成したりする予測不可能な傾向から、セーフティクリティカルなシナリオにおけるLLMの信頼性に関する懸念が提起されている。既存のLLMには、LLMが生成する各応答の不確実性／信頼性メトリックをユーザに提供する固有の機能がないため、信頼性の評価が困難である。LLMの不確実性定量化手法の開発を目指した研究はいくつかあるが、分類タスクに限定される、追加の訓練とデータを必要とする、意味情報ではなく語彙情報のみを考慮する、プロンプト単位であるがレスポンス単位ではない、などの基本的な限界がある。本稿では、これらの問題を解決するための新しいフレームワークを提案する。意味密度は、意味空間における確率分布の観点から、各回答の不確実性／確信度情報を抽出する。このフレームワークはタスクの種類に制約がなく、新しいモデルやタスクに対して「すぐに使える」ものである。最新のLlama 3とMixtral-8x22Bモデルを含む7つの最先端のLLMを4つの自由形式の質問応答ベンチマークで実験した結果、セマンティック密度が先行アプローチと比較して優れた性能と頑健性を持つことが実証された。

要約(オリジナル)

With the widespread application of Large Language Models (LLMs) to various domains, concerns regarding the trustworthiness of LLMs in safety-critical scenarios have been raised, due to their unpredictable tendency to hallucinate and generate misinformation. Existing LLMs do not have an inherent functionality to provide the users with an uncertainty/confidence metric for each response it generates, making it difficult to evaluate trustworthiness. Although several studies aim to develop uncertainty quantification methods for LLMs, they have fundamental limitations, such as being restricted to classification tasks, requiring additional training and data, considering only lexical instead of semantic information, and being prompt-wise but not response-wise. A new framework is proposed in this paper to address these issues. Semantic density extracts uncertainty/confidence information for each response from a probability distribution perspective in semantic space. It has no restriction on task types and is ‘off-the-shelf’ for new models and tasks. Experiments on seven state-of-the-art LLMs, including the latest Llama 3 and Mixtral-8x22B models, on four free-form question-answering benchmarks demonstrate the superior performance and robustness of semantic density compared to prior approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL