Bridging Relevance and Reasoning: Rationale Distillation in Retrieval-Augmented Generation

要約

リランカーとジェネレーターは、検索拡張生成 (RAG) パイプラインの 2 つの重要なコンポーネントであり、関連するドキュメントのランク付けと応答の生成を担当します。
ただし、事前トレーニング データと目的の違いにより、リランカーによって関連性があるとランク付けされたドキュメントと、クエリへの回答をサポートするためにジェネレーターによって必要とされたドキュメントとの間には、避けられないギャップが存在します。
このギャップに対処するために、私たちは RADIO を提案します。RADIO は、Rationale DIstillation との斬新で実用的な好み調整フレームワークです。
具体的には、まず、大規模言語モデル (LLM) の推論機能を活用して、クエリに答えるために必要な根拠を抽出する根拠抽出手法を提案します。
その後、根拠に基づいた調整プロセスが設計され、抽出された根拠に基づいてドキュメントを再ランク付けし、優先順位を調整するために再ランカーを微調整します。
私たちは、ベースライン手法と比較してアプローチの有効性を実証するために、3 つのデータセットにわたる 2 つのタスクについて広範な実験を実施しました。
私たちのコードは複製を容易にするためにオンラインで公開されています。

要約(オリジナル)

The reranker and generator are two critical components in the Retrieval-Augmented Generation (i.e., RAG) pipeline, responsible for ranking relevant documents and generating responses. However, due to differences in pre-training data and objectives, there is an inevitable gap between the documents ranked as relevant by the reranker and those required by the generator to support answering the query. To address this gap, we propose RADIO, a novel and practical preference alignment framework with RAtionale DIstillatiOn. Specifically, We first propose a rationale extraction method that leverages the reasoning capabilities of Large Language Models (LLMs) to extract the rationales necessary for answering the query. Subsequently, a rationale-based alignment process is designed to rerank the documents based on the extracted rationales, and fine-tune the reranker to align the preferences. We conduct extensive experiments on two tasks across three datasets to demonstrate the effectiveness of our approach compared to baseline methods. Our code is released online to ease reproduction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google