RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems

要約

検索拡張生成 (RAG) は、ドキュメントベースの質問応答 (DBQA) などのタスクに追加のコンテキストを提供することで、言語モデル (LM) のパフォーマンスを大幅に向上させることができます。
ただし、RAG の有効性はその構成に大きく依存します。
最適な構成を体系的に見つけるために、さまざまな DBQA タスクにわたって RAG 構成を分析するためのフレームワークである RAGGED を導入します。
このフレームワークを使用すると、さまざまなコンテキストの量、コンテキストの質、および取得者に応じた明確な LM の動作がわかります。
たとえば、一部のモデルはノイズの多いコンテキストに対して堅牢で、より多くのコンテキストを使用すると単調にパフォーマンスが向上しますが、他のモデルはよりノイズに敏感で、パフォーマンスが低下する前に少数のコンテキストのみを効果的に使用できます。
このフレームワークは、特定のコンテキスト品質条件下で信号とノイズに対する LM の感度を評価することにより、これらの違いをより深く分析することもできます。
RAGGED を使用すると、研究者や実務者は、特定の質問応答タスクに合わせて RAG システムを最適に構成する方法について実用的な洞察を得ることができます。

要約(オリジナル)

Retrieval-augmented generation (RAG) can significantly improve the performance of language models (LMs) by providing additional context for tasks such as document-based question answering (DBQA). However, the effectiveness of RAG is highly dependent on its configuration. To systematically find the optimal configuration, we introduce RAGGED, a framework for analyzing RAG configurations across various DBQA tasks. Using the framework, we discover distinct LM behaviors in response to varying context quantities, context qualities, and retrievers. For instance, while some models are robust to noisy contexts, monotonically performing better with more contexts, others are more noise-sensitive and can effectively use only a few contexts before declining in performance. This framework also provides a deeper analysis of these differences by evaluating the LMs’ sensitivity to signal and noise under specific context quality conditions. Using RAGGED, researchers and practitioners can derive actionable insights about how to optimally configure their RAG systems for their specific question-answering tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google