Fine-Grained Guidance for Retrievers: Leveraging LLMs’ Feedback in Retrieval-Augmented Generation

要約

検索拡張生成 (RAG) は、大規模言語モデル (LLM) に固有の幻覚の問題を軽減する効果的な方法であることが証明されています。
従来のアプローチでは通常、セマンティックな類似性に基づいて取得者をトレーニングしており、RAG の最適化が不足していました。
より最近の研究では、レトリーバーを LLM の優先信号に合わせることが提案されています。
しかし、これらの好みのシグナルは、一般に言語能力が弱いデンス・レトリバーにとっては、理解して効果的に学習することが困難であることがよくあります。
Guided Discovery Learning などの教育理論からインスピレーションを得て、私たちは、LLM の言語機能を活用して、より詳細な情報中心の観点から例を構築し、学習をガイドする新しいフレームワーク FiGRet (Fine-graned Guide for Retrievers) を提案します。
レトリーバー。
具体的には、私たちの方法では LLM を利用して、RAG シナリオに関連性の高い 3 つの学習目標 (関連性、包括性、純粋性) に焦点を当て、レトリバーのパフォーマンスが低いサンプルからわかりやすい例を構築します。
これらの例は、レトリバーを最終的に LLM の好みに合わせるための足場として機能します。
さらに、私たちはデュアルカリキュラム学習戦略を採用し、LLM とレトリバーの間の相互フィードバックを活用して、RAG システムのパフォーマンスをさらに強化します。
一連の実験により、私たちが提案したフレームワークがさまざまなレトリーバーを備えた RAG システムのパフォーマンスを向上させ、さまざまな LLM に適用できることが実証されました。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has proven to be an effective method for mitigating hallucination issues inherent in large language models (LLMs). Previous approaches typically train retrievers based on semantic similarity, lacking optimization for RAG. More recent works have proposed aligning retrievers with the preference signals of LLMs. However, these preference signals are often difficult for dense retrievers, which typically have weaker language capabilities, to understand and learn effectively. Drawing inspiration from pedagogical theories like Guided Discovery Learning, we propose a novel framework, FiGRet (Fine-grained Guidance for Retrievers), which leverages the language capabilities of LLMs to construct examples from a more granular, information-centric perspective to guide the learning of retrievers. Specifically, our method utilizes LLMs to construct easy-to-understand examples from samples where the retriever performs poorly, focusing on three learning objectives highly relevant to the RAG scenario: relevance, comprehensiveness, and purity. These examples serve as scaffolding to ultimately align the retriever with the LLM’s preferences. Furthermore, we employ a dual curriculum learning strategy and leverage the reciprocal feedback between LLM and retriever to further enhance the performance of the RAG system. A series of experiments demonstrate that our proposed framework enhances the performance of RAG systems equipped with different retrievers and is applicable to various LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google