ChunkRAG: Novel LLM-Chunk Filtering Method for RAG Systems

要約

大規模言語モデル (LLM) を使用する検索拡張生成 (RAG) システムでは、無関係な情報や関連性の低い情報を取得するため、不正確な応答が生成されることがよくあります。
文書レベルで動作する既存の方法では、そのようなコンテンツを効果的にフィルタリングすることができません。
我々は、LLM 駆動のチャンク フィルタリング、ChunkRAG を提案します。これは、取得した情報をチャンク レベルで評価およびフィルタリングすることで RAG システムを強化するフレームワークです。
私たちのアプローチでは、セマンティック チャンキングを使用してドキュメントを一貫したセクションに分割し、LLM ベースの関連性スコアリングを利用して各チャンクとユーザーのクエリの整合性を評価します。
生成フェーズの前に関連性の低いチャンクを除外することで、幻覚が大幅に減少し、事実の正確さが向上します。
実験では、私たちの方法が既存の RAG モデルよりも優れており、正確な情報取得が必要なタスクでより高い精度を達成できることが示されています。
この進歩により、RAG システムの信頼性が向上し、ファクト チェックやマルチホップ推論などのアプリケーションにとって特に有益になります。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) systems using large language models (LLMs) often generate inaccurate responses due to the retrieval of irrelevant or loosely related information. Existing methods, which operate at the document level, fail to effectively filter out such content. We propose LLM-driven chunk filtering, ChunkRAG, a framework that enhances RAG systems by evaluating and filtering retrieved information at the chunk level. Our approach employs semantic chunking to divide documents into coherent sections and utilizes LLM-based relevance scoring to assess each chunk’s alignment with the user’s query. By filtering out less pertinent chunks before the generation phase, we significantly reduce hallucinations and improve factual accuracy. Experiments show that our method outperforms existing RAG models, achieving higher accuracy on tasks requiring precise information retrieval. This advancement enhances the reliability of RAG systems, making them particularly beneficial for applications like fact-checking and multi-hop reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google