LRP4RAG: Detecting Hallucinations in Retrieval-Augmented Generation via Layer-wise Relevance Propagation

要約

検索拡張生成 (RAG) は、大規模言語モデル (LLM) における幻覚を軽減するための主要な技術となっています。
しかし、不完全な知識抽出と不十分な理解により、LLM が無関係または矛盾した応答を生成するように誤解される可能性があり、これは RAG で幻覚が持続することを意味します。
この論文では、RAG で幻覚を検出するための Layer-wise Relevance Propagation (LRP) アルゴリズムに基づく方法である LRP4RAG を提案します。
具体的には、まず LRP を利用して、RAG ジェネレーターの入力と出力の関連性を計算します。
次に、関連性マトリックスにさらに抽出とリサンプリングを適用します。
処理された関連性データは複数の分類器に入力され、出力に幻覚が含まれているかどうかが判断されます。
私たちの知る限り、RAG 幻覚の検出に LRP が使用されたのはこれが初めてであり、広範な実験により、LRP4RAG が既存のベースラインよりも優れていることが実証されています。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has become a primary technique for mitigating hallucinations in large language models (LLMs). However, incomplete knowledge extraction and insufficient understanding can still mislead LLMs to produce irrelevant or even contradictory responses, which means hallucinations persist in RAG. In this paper, we propose LRP4RAG, a method based on the Layer-wise Relevance Propagation (LRP) algorithm for detecting hallucinations in RAG. Specifically, we first utilize LRP to compute the relevance between the input and output of the RAG generator. We then apply further extraction and resampling to the relevance matrix. The processed relevance data are input into multiple classifiers to determine whether the output contains hallucinations. To the best of our knowledge, this is the first time that LRP has been used for detecting RAG hallucinations, and extensive experiments demonstrate that LRP4RAG outperforms existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google