Provence: efficient and robust context pruning for retrieval-augmented generation

要約

検索された生成は、大規模な言語モデル（LLM）生成のさまざまな側面を改善しますが、長いコンテキストによって引き起こされる計算オーバーヘッドと、生成された応答への無関係な取得情報の伝播に苦しんでいます。
コンテキスト剪定は、LLM生成の前に取得されたコンテキストの無関係な部分を削除することにより、両方の側面を扱います。
ただし、既存のコンテキストプルーニングアプローチは制限されており、幅広いシナリオで効率的かつ堅牢な普遍的なモデルを提供しません。
ドメイン。
この作業では、このギャップを閉じて、質問に答えるための効率的で堅牢なコンテキストプルナーであるプロヴァンス（取得した関連するコンテキストの剪定と再ランキング）を紹介します。
– さまざまなドメイン用のボックス。
プロヴァンスの3つの重要な要素は、コンテキスト剪定タスクをシーケンスラベル付けとして策定し、コンテキストリランキングを備えたコンテキスト剪定機能を統合し、多様なデータのトレーニングを策定しています。
私たちの実験結果は、Provenceが、さまざまなドメインや設定で、標準的なRagパイプラインではほとんど無料で、パフォーマンスの低下を無視できるコンテキスト剪定を可能にすることを示しています。
また、さまざまなアブレーションとともに、より深い分析を実施して、将来の仕事のためのトレーニングコンテキストプルナーに関する洞察を提供します。

要約(オリジナル)

Retrieval-augmented generation improves various aspects of large language models (LLMs) generation, but suffers from computational overhead caused by long contexts as well as the propagation of irrelevant retrieved information into generated responses. Context pruning deals with both aspects, by removing irrelevant parts of retrieved contexts before LLM generation. Existing context pruning approaches are however limited, and do not provide a universal model that would be both efficient and robust in a wide range of scenarios, e.g., when contexts contain a variable amount of relevant information or vary in length, or when evaluated on various domains. In this work, we close this gap and introduce Provence (Pruning and Reranking Of retrieVEd relevaNt ContExts), an efficient and robust context pruner for Question Answering, which dynamically detects the needed amount of pruning for a given context and can be used out-of-the-box for various domains. The three key ingredients of Provence are formulating the context pruning task as sequence labeling, unifying context pruning capabilities with context reranking, and training on diverse data. Our experimental results show that Provence enables context pruning with negligible to no drop in performance, in various domains and settings, at almost no cost in a standard RAG pipeline. We also conduct a deeper analysis alongside various ablations to provide insights into training context pruners for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google