RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models

要約

検索拡張生成 (RAG) は、大規模言語モデル (LLM) における幻覚を軽減するための主要な技術となっています。
RAG の統合にもかかわらず、LLM は依然として、取得されたコンテンツに対してサポートされていない主張や矛盾した主張を提示する可能性があります。
RAG に基づいて効果的な幻覚防止戦略を開発するには、幻覚の程度を測定できるベンチマーク データセットを作成することが重要です。
この論文では、LLM アプリケーションの標準 RAG フレームワーク内のさまざまなドメインおよびタスクにおける単語レベルの幻覚を分析するために調整されたコーパスである RAGTruth について説明します。
RAGTruth は、RAG を使用してさまざまな LLM から自然に生成された約 18,000 の応答で構成されています。
これらの回答には、幻覚の強度の評価を組み込んだ、個々のケースと単語レベルの両方で細心の注意を払って手動で注釈が付けられています。
私たちは、さまざまな LLM にわたる幻覚頻度のベンチマークを行うだけでなく、いくつかの既存の幻覚検出方法の有効性も批判的に評価します。
さらに、RAGTruth などの高品質のデータセットを使用すると、比較的小規模な LLM を微調整し、最新の状態を使用した既存のプロンプトベースのアプローチと比較して、幻覚検出において競争力のあるレベルのパフォーマンスを達成できることを示します。
GPT-4 などの大きな言語モデル。

要約(オリジナル)

Retrieval-augmented generation (RAG) has become a main technique for alleviating hallucinations in large language models (LLMs). Despite the integration of RAG, LLMs may still present unsupported or contradictory claims to the retrieved contents. In order to develop effective hallucination prevention strategies under RAG, it is important to create benchmark datasets that can measure the extent of hallucination. This paper presents RAGTruth, a corpus tailored for analyzing word-level hallucinations in various domains and tasks within the standard RAG frameworks for LLM applications. RAGTruth comprises nearly 18,000 naturally generated responses from diverse LLMs using RAG. These responses have undergone meticulous manual annotations at both the individual cases and word levels, incorporating evaluations of hallucination intensity. We not only benchmark hallucination frequencies across different LLMs, but also critically assess the effectiveness of several existing hallucination detection methodologies. Furthermore, we show that using a high-quality dataset such as RAGTruth, it is possible to finetune a relatively small LLM and achieve a competitive level of performance in hallucination detection when compared to the existing prompt-based approaches using state-of-the-art large language models such as GPT-4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google