Evidence Contextualization and Counterfactual Attribution for Conversational QA over Heterogeneous Data with RAG Systems

要約

Retrieval Augmented Generation (RAG) は、Conversational Question Answering (ConvQA) を介して企業独自のデータと対話するためのバックボーンとして機能します。
RAG システムでは、検索者は質問に応じてコレクションからパッセージを取得し、自然言語 (NL) 応答を生成するための大規模言語モデル (LLM) のプロンプトにそれらのパッセージが組み込まれます。
しかし、今日のいくつかの RAG システムには 2 つの欠点があります。(i) 検索された文章には通常、生のテキストが含まれており、適切な文書コンテキストが欠如しており、検索と回答の品質の両方に悪影響を及ぼします。
(ii) 回答の生成を説明する帰属戦略は、通常、回答と検索された文章の間の類似性にのみ依存するため、もっともらしい説明のみが生成されますが、因果関係は生成されません。
この研究では、次のことによって上記の懸念を解決する RAG システムである RAGONITE を実証します。(i) 証拠をソース メタデータと周囲のテキストで文脈化する。
(ii) 反事実帰属の計算。回答に対する証拠の寄与が、その証拠を削除することによって得られる回答に対する元の回答の類似性によって決定される因果関係の説明アプローチです。
私たちの提案を評価するために、新しいベンチマーク ConfQuestions をリリースします。これには、英語とドイツ語でそれぞれ作成された 300 個の手作りの会話型質問があり、215 の Confluence 公開ページからのグラウンド トゥルース URL、完成した質問、回答が組み合わされています。
これらのドキュメントは、異種要素を含むエンタープライズ Wiki スペースの典型的なものです。
ConfQuestions での RAGONITE の実験は、私たちのアイデアの実現可能性を示しています。コンテキスト化により RAG のパフォーマンスが向上し、反事実的な説明が標準的な帰属を上回るパフォーマンスを発揮します。

要約(オリジナル)

Retrieval Augmented Generation (RAG) works as a backbone for interacting with an enterprise’s own data via Conversational Question Answering (ConvQA). In a RAG system, a retriever fetches passages from a collection in response to a question, which are then included in the prompt of a large language model (LLM) for generating a natural language (NL) answer. However, several RAG systems today suffer from two shortcomings: (i) retrieved passages usually contain their raw text and lack appropriate document context, negatively impacting both retrieval and answering quality; and (ii) attribution strategies that explain answer generation typically rely only on similarity between the answer and the retrieved passages, thereby only generating plausible but not causal explanations. In this work, we demonstrate RAGONITE, a RAG system that remedies the above concerns by: (i) contextualizing evidence with source metadata and surrounding text; and (ii) computing counterfactual attribution, a causal explanation approach where the contribution of an evidence to an answer is determined by the similarity of the original response to the answer obtained by removing that evidence. To evaluate our proposals, we release a new benchmark ConfQuestions: it has 300 hand-created conversational questions, each in English and German, coupled with ground truth URLs, completed questions, and answers from 215 public Confluence pages. These documents are typical of enterprise wiki spaces with heterogeneous elements. Experiments with RAGONITE on ConfQuestions show the viability of our ideas: contextualization improves RAG performance, and counterfactual explanations outperform standard attribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google