Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation

要約

モデル回答の検証可能性を確保することは、質問応答 (QA) ドメインにおける検索拡張生成 (RAG) にとっての基本的な課題です。
最近、大規模言語モデル (LLM) が回答とともに裏付けとなる文書への引用を生成する自己引用プロンプトが提案されました。
ただし、自己引用 LLM は、必要な形式に一致させるのに苦労し、存在しないソースを参照し、生成全体を通じて LLM のコンテキストの使用法を忠実に反映できないことがよくあります。
この研究では、MIRAGE –モデル内部構造ベースの RAG 説明 — RAG アプリケーションでの忠実な回答帰属のためにモデル内部構造を使用するプラグアンドプレイ アプローチを紹介します。
MIRAGE はコンテキスト依存の応答トークンを検出し、顕著性メソッドを介して予測に寄与する取得されたドキュメントとそれらを組み合わせます。
私たちは、多言語抽出 QA データセットで提案されたアプローチを評価し、人間の回答帰属との高い一致を発見しました。
オープンエンドの QA では、MIRAGE は自己引用に匹敵する引用の品質と効率を達成すると同時に、帰属パラメータのよりきめ細かい制御も可能にします。
私たちの定性的評価は、MIRAGE の帰属の忠実さを強調し、RAG 回答帰属に対するモデル内部の有望な適用を強調します。

要約(オリジナル)

Ensuring the verifiability of model answers is a fundamental challenge for retrieval-augmented generation (RAG) in the question answering (QA) domain. Recently, self-citation prompting was proposed to make large language models (LLMs) generate citations to supporting documents along with their answers. However, self-citing LLMs often struggle to match the required format, refer to non-existent sources, and fail to faithfully reflect LLMs’ context usage throughout the generation. In this work, we present MIRAGE –Model Internals-based RAG Explanations — a plug-and-play approach using model internals for faithful answer attribution in RAG applications. MIRAGE detects context-sensitive answer tokens and pairs them with retrieved documents contributing to their prediction via saliency methods. We evaluate our proposed approach on a multilingual extractive QA dataset, finding high agreement with human answer attribution. On open-ended QA, MIRAGE achieves citation quality and efficiency comparable to self-citation while also allowing for a finer-grained control of attribution parameters. Our qualitative evaluation highlights the faithfulness of MIRAGE’s attributions and underscores the promising application of model internals for RAG answer attribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google