KG-FPQ: Evaluating Factuality Hallucination in LLMs with Knowledge Graph-based False Premise Questions

要約

最近の研究では、大規模言語モデル (LLM) が誤った前提質問 (FPQ) によって誤解されやすく、事実幻覚として知られる事実知識の誤りにつながることが実証されています。
この脆弱性を評価する既存のベンチマークは主に手動による構築に依存しているため、規模が限られ、拡張性が欠如しています。
この作業では、ナレッジ グラフ (KG) に基づいて FPQ を作成するための自動化されたスケーラブルなパイプラインを導入します。
最初のステップは、KG から抽出された真のトリプレットを変更して偽の前提を作成することです。
続いて、GPT の最先端の機能を利用して、意味的に豊富な FPQ を生成します。
提案された手法に基づいて、包括的なベンチマークであるナレッジ グラフベースの誤った前提質問 (KG-FPQ) を提示します。これには、3 つの知識ドメイン、6 つの混同性レベル、および 2 つのタスク形式にわたる約 178,000 の FPQ が含まれています。
KG-FPQ を使用して、いくつかの代表的な LLM について広範な評価を実施し、貴重な洞察を提供します。
KG-FPQ データセットとコードは、~https://github.com/yanxuzhu/KG-FPQ で入手できます。

要約(オリジナル)

Recent studies have demonstrated that large language models (LLMs) are susceptible to being misled by false premise questions (FPQs), leading to errors in factual knowledge, know as factuality hallucination. Existing benchmarks that assess this vulnerability primarily rely on manual construction, resulting in limited scale and lack of scalability. In this work, we introduce an automated, scalable pipeline to create FPQs based on knowledge graphs (KGs). The first step is modifying true triplets extracted from KGs to create false premises. Subsequently, utilizing the state-of-the-art capabilities of GPTs, we generate semantically rich FPQs. Based on the proposed method, we present a comprehensive benchmark, the Knowledge Graph-based False Premise Questions (KG-FPQ), which contains approximately 178k FPQs across three knowledge domains, at six levels of confusability, and in two task formats. Using KG-FPQ, we conduct extensive evaluations on several representative LLMs and provide valuable insights. The KG-FPQ dataset and code are available at~https://github.com/yanxuzhu/KG-FPQ.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google