HalluciNot: Hallucination Detection Through Context and Common Knowledge Verification

要約

このペーパーでは、エンタープライズ設定で大規模な言語モデル（LLM）出力で幻覚を検出するための包括的なシステムを紹介します。
エンタープライズアプリケーションの幻覚に特有のLLM応答の新しい分類法を提示し、それらをコンテキストベース、一般的な知識、エンタープライズ固有、および無害な声明に分類します。
幻覚検出モデルHDM-2は、コンテキストと一般的に既知の事実（一般的な知識）の両方に関してLLM応答を検証します。
幻覚スコアと単語レベルの注釈の両方を提供し、問題のあるコンテンツの正確な識別を可能にします。
コンテキストベースと一般的な知識の幻覚でそれを評価するために、新しいデータセットhdmbenchを紹介します。
実験結果は、HDM-2がRagtruth、Truthfulqa、およびHDMBenchデータセット全体で既存のアプローチを実行することを示しています。
この作業では、計算効率、ドメインの専門化、微細粒度エラー識別など、エンタープライズ展開の特定の課題に対処します。
評価データセット、モデルの重み、および推論コードは公開されています。

要約(オリジナル)

This paper introduces a comprehensive system for detecting hallucinations in large language model (LLM) outputs in enterprise settings. We present a novel taxonomy of LLM responses specific to hallucination in enterprise applications, categorizing them into context-based, common knowledge, enterprise-specific, and innocuous statements. Our hallucination detection model HDM-2 validates LLM responses with respect to both context and generally known facts (common knowledge). It provides both hallucination scores and word-level annotations, enabling precise identification of problematic content. To evaluate it on context-based and common-knowledge hallucinations, we introduce a new dataset HDMBench. Experimental results demonstrate that HDM-2 out-performs existing approaches across RagTruth, TruthfulQA, and HDMBench datasets. This work addresses the specific challenges of enterprise deployment, including computational efficiency, domain specialization, and fine-grained error identification. Our evaluation dataset, model weights, and inference code are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google