CiteFix: Enhancing RAG Accuracy Through Post-Processing Citation Correction

要約

検索拡張生成（RAG）は、大規模な言語モデル（LLM）の強力なアプリケーションとして浮上し、情報検索と消費に革命をもたらしました。
RAGシステムは、従来の検索機能とLLMSを組み合わせて、理想的には正確な引用を備えたユーザークエリに対する包括的な回答を生成します。
ただし、RAG製品の開発経験では、LLMはしばしばソースの帰属に苦労し、一般的な生成検索エンジンで約74％の引用精度を報告する他の業界研究と協力しています。
これに対処するために、LLMで生成された応答の引用精度を改善するために、効率的な後処理アルゴリズムを提示し、遅延とコストへの影響を最小限に抑えます。
私たちのアプローチは、キーワード +セマンティックマッチング、Bertscoreを使用した細かいチューニングモデル、軽量LLMベースの技術を含む方法を使用して、取得した記事に対してクロスチェックを生成しました。
実験結果は、RAGシステムの全体的な精度メトリックにおける15.46％の相対的な改善を示しています。
この大幅な強化により、現在のより大きな言語モデルから比較的小さいモデルから、比較可能なパフォーマンスを維持しながら、推論時間が3倍高速な比較的小さいモデルへの移行が可能になります。
この研究は、特に商業製品で顧客の信頼を得るために重要な情報検索および要約タスクにおけるAI生成コンテンツの信頼性と信頼性を高めることに貢献します。

要約(オリジナル)

Retrieval Augmented Generation (RAG) has emerged as a powerful application of Large Language Models (LLMs), revolutionizing information search and consumption. RAG systems combine traditional search capabilities with LLMs to generate comprehensive answers to user queries, ideally with accurate citations. However, in our experience of developing a RAG product, LLMs often struggle with source attribution, aligning with other industry studies reporting citation accuracy rates of only about 74% for popular generative search engines. To address this, we present efficient post-processing algorithms to improve citation accuracy in LLM-generated responses, with minimal impact on latency and cost. Our approaches cross-check generated citations against retrieved articles using methods including keyword + semantic matching, fine tuned model with BERTScore, and a lightweight LLM-based technique. Our experimental results demonstrate a relative improvement of 15.46% in the overall accuracy metrics of our RAG system. This significant enhancement potentially enables a shift from our current larger language model to a relatively smaller model that is approximately 12x more cost-effective and 3x faster in inference time, while maintaining comparable performance. This research contributes to enhancing the reliability and trustworthiness of AI-generated content in information retrieval and summarization tasks which is critical to gain customer trust especially in commercial products.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google