Unveiling the Siren’s Song: Towards Reliable Fact-Conflicting Hallucination Detection

要約

ChatGPT/GPT-4 などの大規模言語モデル (LLM) は、その無数の実用的な応用により広く注目を集めていますが、その採用は、Web プラットフォーム全体にわたる事実と矛盾する幻覚の問題によって制限されてきました。
LLM によって生成されたテキスト内の事実性の評価は、依然として十分に検討されておらず、バニラ事実の判断だけでなく、マルチホップなどの複雑な推論タスクで現れる事実誤認の評価も含まれています。
FactCHD は、LLM 向けに綿密に設計された事実に反する幻覚検出ベンチマークです。
「クエリ応答」コンテキスト内の事実性を評価する際の極めて重要なツールとして機能する当社のベンチマークは、大規模なデータセットを同化し、バニラ、マルチホップ、比較、セット操作パターンなどの広範な事実性パターンをカプセル化します。
当社のベンチマークの特徴は、事実に基づいた一連の証拠を組み込んでおり、それによって評価プロセス全体を通じて包括的で有益な事実に基づく推論が容易になることです。
私たちは複数の LLM を評価し、ベンチマークの有効性を実証していますが、現在の方法では事実の誤りを忠実に検出するには至っていません。
さらに、ツール強化された ChatGPT と Llama2 に基づく LoRA チューニングによる反射的考慮事項を合成する TRUTH-TRIANGULATOR を紹介し、予測結果と証拠の融合を通じてより信頼性の高い検出を生み出すことを目指しています。
ベンチマーク データセットとソース コードは https://github.com/zjunlp/FactCHD で利用可能になります。

要約(オリジナル)

Large Language Models (LLMs), such as ChatGPT/GPT-4, have garnered widespread attention owing to their myriad of practical applications, yet their adoption has been constrained by issues of fact-conflicting hallucinations across web platforms. The assessment of factuality in text, produced by LLMs, remains inadequately explored, extending not only to the judgment of vanilla facts but also encompassing the evaluation of factual errors emerging in complex inferential tasks like multi-hop, and etc. In response, we introduce FactCHD, a fact-conflicting hallucination detection benchmark meticulously designed for LLMs. Functioning as a pivotal tool in evaluating factuality within ‘Query-Respons’ contexts, our benchmark assimilates a large-scale dataset, encapsulating a broad spectrum of factuality patterns, such as vanilla, multi-hops, comparison, and set-operation patterns. A distinctive feature of our benchmark is its incorporation of fact-based chains of evidence, thereby facilitating comprehensive and conducive factual reasoning throughout the assessment process. We evaluate multiple LLMs, demonstrating the effectiveness of the benchmark and current methods fall short of faithfully detecting factual errors. Furthermore, we present TRUTH-TRIANGULATOR that synthesizes reflective considerations by tool-enhanced ChatGPT and LoRA-tuning based on Llama2, aiming to yield more credible detection through the amalgamation of predictive results and evidence. The benchmark dataset and source code will be made available in https://github.com/zjunlp/FactCHD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google