FactSelfCheck: Fact-Level Black-Box Hallucination Detection for LLMs

要約

大規模な言語モデル（LLM）は頻繁に幻覚コンテンツを生成し、事実が重要なアプリケーションに大きな課題をもたらします。
既存の幻覚検出方法は通常、文レベルまたは通過レベルで動作しますが、微調整されたファクトレベルの検出を可能にする新しいブラックボックスサンプリングベースの方法であるFactSelfCheckを提案します。
私たちのアプローチは、トリプルの形での事実からなる知識グラフとしてテキストを表しています。
複数のLLM応答にわたる事実上の一貫性を分析することにより、外部リソースやトレーニングデータを必要とせずに、きめ細かい幻覚スコアを計算します。
私たちの評価は、FactSelfCheckがより詳細な洞察を提供しながら、主要なサンプリングベースの方法で競争力のあるパフォーマンスを発揮することを示しています。
最も注目すべきは、私たちの事実レベルのアプローチが幻覚補正を大幅に改善し、ベースラインと比較して実際のコンテンツで35％増加し、文レベルの自己確認は8％の改善しか得られません。
私たちの検出の粒度の性質により、幻覚コンテンツのより正確な識別と修正が可能になります。

要約(オリジナル)

Large Language Models (LLMs) frequently generate hallucinated content, posing significant challenges for applications where factuality is crucial. While existing hallucination detection methods typically operate at the sentence level or passage level, we propose FactSelfCheck, a novel black-box sampling-based method that enables fine-grained fact-level detection. Our approach represents text as knowledge graphs consisting of facts in the form of triples. Through analyzing factual consistency across multiple LLM responses, we compute fine-grained hallucination scores without requiring external resources or training data. Our evaluation demonstrates that FactSelfCheck performs competitively with leading sampling-based methods while providing more detailed insights. Most notably, our fact-level approach significantly improves hallucination correction, achieving a 35% increase in factual content compared to the baseline, while sentence-level SelfCheckGPT yields only an 8% improvement. The granular nature of our detection enables more precise identification and correction of hallucinated content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google