DelucionQA: Detecting Hallucinations in Domain-specific Question Answering

要約

幻覚は、大規模言語モデル (LLM) によって生成されたテキストにおけるよく知られた現象です。
幻覚応答の存在は、要約、質問応答 (QA) など、ほとんどすべてのアプリケーション シナリオで見られます。高い信頼性が必要なアプリケーション (顧客対応アシスタントなど) の場合、LLM で生成されたテキストに幻覚が存在する可能性があります。
重大な問題。
情報検索を利用して関連する背景情報を LLM に提供することで、幻覚の量を減らすことができます。
ただし、LLM はさまざまな理由で幻覚コンテンツを生成する可能性があります (例: コンテキストよりもパラメトリックな知識を優先する、コンテキストから関連情報を取得できないなど)。
したがって、自動化された方法で幻覚を検出することが最も重要です。
この方向の研究を促進するために、ドメイン固有の QA タスクのために検索拡張 LLM によって作成された幻覚をキャプチャする高度なデータセット DelucionQA を導入します。
さらに、研究コミュニティによる将来の研究のベースラインとして機能する一連の幻覚検出方法を提案します。
対象シナリオにおける幻覚現象に関する貴重な洞察を共有するために、分析とケーススタディも提供されます。

要約(オリジナル)

Hallucination is a well-known phenomenon in text generated by large language models (LLMs). The existence of hallucinatory responses is found in almost all application scenarios e.g., summarization, question-answering (QA) etc. For applications requiring high reliability (e.g., customer-facing assistants), the potential existence of hallucination in LLM-generated text is a critical problem. The amount of hallucination can be reduced by leveraging information retrieval to provide relevant background information to the LLM. However, LLMs can still generate hallucinatory content for various reasons (e.g., prioritizing its parametric knowledge over the context, failure to capture the relevant information from the context, etc.). Detecting hallucinations through automated methods is thus paramount. To facilitate research in this direction, we introduce a sophisticated dataset, DelucionQA, that captures hallucinations made by retrieval-augmented LLMs for a domain-specific QA task. Furthermore, we propose a set of hallucination detection methods to serve as baselines for future works from the research community. Analysis and case study are also provided to share valuable insights on hallucination phenomena in the target scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google