Trustworthiness in Retrieval-Augmented Generation Systems: A Survey

要約

検索拡張生成 (RAG) は、大規模言語モデル (LLM) の開発において極めて重要なパラダイムに急速に成長しました。
この分野における現在の研究の多くは、特に精度と効率の観点からパフォーマンスの最適化に焦点を当てていますが、RAG システムの信頼性は依然として調査中の領域です。
前向きな観点から見ると、RAG システムは、膨大な外部データベースから役立つ最新の知識を LLM に提供することで LLM を強化し、それによって長年の幻覚の問題を軽減することが期待されています。
一方、否定的な観点から見ると、RAG システムは、取得した情報が不適切または適切に活用されていない場合、望ましくないコンテンツを生成するリスクにさらされています。
これらの懸念に対処するために、事実性、堅牢性、公平性、透明性、説明責任、プライバシーという 6 つの主要な側面にわたって RAG システムの信頼性を評価する統一フレームワークを提案します。
この枠組みの中で、私たちは各次元に関する既存の文献を徹底的にレビューします。
さらに、6つの側面に関する評価ベンチマークを作成し、さまざまな独自モデルやオープンソースモデルの総合評価を実施します。
最後に、調査結果に基づいて、将来の研究の潜在的な課題を特定します。
この作業を通じて、私たちは将来の調査のための構造化された基盤を築き、現実世界のアプリケーションにおける RAG システムの信頼性を高めるための実践的な洞察を提供することを目指しています。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has quickly grown into a pivotal paradigm in the development of Large Language Models (LLMs). While much of the current research in this field focuses on performance optimization, particularly in terms of accuracy and efficiency, the trustworthiness of RAG systems remains an area still under exploration. From a positive perspective, RAG systems are promising to enhance LLMs by providing them with useful and up-to-date knowledge from vast external databases, thereby mitigating the long-standing problem of hallucination. While from a negative perspective, RAG systems are at the risk of generating undesirable contents if the retrieved information is either inappropriate or poorly utilized. To address these concerns, we propose a unified framework that assesses the trustworthiness of RAG systems across six key dimensions: factuality, robustness, fairness, transparency, accountability, and privacy. Within this framework, we thoroughly review the existing literature on each dimension. Additionally, we create the evaluation benchmark regarding the six dimensions and conduct comprehensive evaluations for a variety of proprietary and open-source models. Finally, we identify the potential challenges for future research based on our investigation results. Through this work, we aim to lay a structured foundation for future investigations and provide practical insights for enhancing the trustworthiness of RAG systems in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google