RE-RAG: Improving Open-Domain QA Performance and Interpretability with Relevance Estimator in Retrieval-Augmented Generation

要約

検索拡張生成 (RAG) フレームワークは、パラメトリック知識と外部知識の組み合わせを利用して、オープンドメインの質問応答タスクで最先端のパフォーマンスを実証します。
ただし、RAG フレームワークは、クエリに無関係なコンテキストが伴うとパフォーマンスが低下します。
この研究では、RE-RAG フレームワークを提案します。これは、以前のリランカーが行っていたようにコンテキスト間の相対的な関連性を提供するだけでなく、特定のコンテキストが有用かどうかを分類するために使用できる信頼性も提供する関連性推定量 (RE) を導入します。
与えられた質問に答えること。
我々は、正しいコンテキストのラベルを付けずに単に質問と回答のデータを利用して RE をトレーニングするための弱教師あり方法を提案します。
小規模ジェネレーター (sLM) でトレーニングされた RE は、RE とともに微調整された sLM を改善できるだけでなく、これまで参照されていなかった大規模言語モデル (LLM) も改善できることを示します。
さらに、取得されたコンテキストを考慮して質問に答えるのが「答えられない」ことをユーザーに知らせることを選択したり、無関係なコンテキストではなくLLMのパラメトリック知識に依存することを選択したりするなど、REによって測定された提案された信頼度を利用する新しい復号戦略を調査します。

要約(オリジナル)

The Retrieval Augmented Generation (RAG) framework utilizes a combination of parametric knowledge and external knowledge to demonstrate state-of-the-art performance on open-domain question answering tasks. However, the RAG framework suffers from performance degradation when the query is accompanied by irrelevant contexts. In this work, we propose the RE-RAG framework, which introduces a relevance estimator (RE) that not only provides relative relevance between contexts as previous rerankers did, but also provides confidence, which can be used to classify whether given context is useful for answering the given question. We propose a weakly supervised method for training the RE simply utilizing question-answer data without any labels for correct contexts. We show that RE trained with a small generator (sLM) can not only improve the sLM fine-tuned together with RE but also improve previously unreferenced large language models (LLMs). Furthermore, we investigate new decoding strategies that utilize the proposed confidence measured by RE such as choosing to let the user know that it is ‘unanswerable’ to answer the question given the retrieved contexts or choosing to rely on LLM’s parametric knowledge rather than unrelated contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google