HalluLens: LLM Hallucination Benchmark

要約

大規模な言語モデル（LLM）は、多くの場合、ユーザーの入力またはトレーニングデータから逸脱する応答を生成します。これは、「幻覚」として知られる現象です。
これらの幻覚は、ユーザーの信頼を損ない、生成AIシステムの採用を妨げます。
LLMSの進歩には幻覚に対処することが不可欠です。
このペーパーでは、幻覚の明確な分類法に基づいて構築された、新しい外因性評価タスクと既存の本質的な評価タスクの両方を組み込んだ包括的な幻覚ベンチマークを紹介します。
ベンチマークの幻覚の主な課題は、一貫性のない定義と分類により、統一されたフレームワークがないことです。
LLMの幻覚を「事実」から解き放ち、一貫性を促進し、研究を促進するために、外因性と固有の幻覚を区別する明確な分類法を提案します。
生成されたコンテンツがトレーニングデータと一致していない外因性の幻覚は、LLMSが進化するにつれてますます重要になっています。
私たちのベンチマークには、データの漏れを軽減し、そのような漏れに対する堅牢性を確保するための動的テストセットの生成が含まれます。
また、既存のベンチマークを分析し、それらの制限と飽和を強調します。
（1）幻覚の明確な分類法を確立することを目的としています。（2）漏れによる飽和を防ぐために動的に再生できる新しい外因性幻覚タスクを導入します。

要約(オリジナル)

Large language models (LLMs) often generate responses that deviate from user input or training data, a phenomenon known as ‘hallucination.’ These hallucinations undermine user trust and hinder the adoption of generative AI systems. Addressing hallucinations is essential for the advancement of LLMs. This paper introduces a comprehensive hallucination benchmark, incorporating both new extrinsic and existing intrinsic evaluation tasks, built upon clear taxonomy of hallucination. A major challenge in benchmarking hallucinations is the lack of a unified framework due to inconsistent definitions and categorizations. We disentangle LLM hallucination from ‘factuality,’ proposing a clear taxonomy that distinguishes between extrinsic and intrinsic hallucinations, to promote consistency and facilitate research. Extrinsic hallucinations, where the generated content is not consistent with the training data, are increasingly important as LLMs evolve. Our benchmark includes dynamic test set generation to mitigate data leakage and ensure robustness against such leakage. We also analyze existing benchmarks, highlighting their limitations and saturation. The work aims to: (1) establish a clear taxonomy of hallucinations, (2) introduce new extrinsic hallucination tasks, with data that can be dynamically regenerated to prevent saturation by leakage, (3) provide a comprehensive analysis of existing benchmarks, distinguishing them from factuality evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google