Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases

要約

私たちは、プライベート知識ベースに関連するドメイン固有の時間に敏感なクエリに対する大規模言語モデル (LLM) の事実の精度を向上させるために、検索拡張生成 (RAG) を利用するためのエンドツーエンドのシステム設計を提案しました。
当社のシステムは、RAG パイプラインを上流のデータセット処理および下流のパフォーマンス評価と統合します。
LLM 幻覚の課題に対処するために、CMU の広範なリソースに由来し、教師モデルで注釈が付けられた厳選されたデータセットを使用してモデルを微調整します。
私たちの実験は、ドメイン固有で時間に敏感な問い合わせに対して、より正確な回答を生成するシステムの有効性を実証しています。
この結果は、小規模で偏ったデータセットを使用した LLM の微調整の限界も明らかにしました。
この研究は、知識集約型タスクのパフォーマンスを向上させるために外部データセットで LLM を強化する RAG システムの可能性を強調しています。
私たちのコードとモデルは Github で入手できます。

要約(オリジナル)

We proposed an end-to-end system design towards utilizing Retrieval Augmented Generation (RAG) to improve the factual accuracy of Large Language Models (LLMs) for domain-specific and time-sensitive queries related to private knowledge-bases. Our system integrates RAG pipeline with upstream datasets processing and downstream performance evaluation. Addressing the challenge of LLM hallucinations, we finetune models with a curated dataset which originates from CMU’s extensive resources and annotated with the teacher model. Our experiments demonstrate the system’s effectiveness in generating more accurate answers to domain-specific and time-sensitive inquiries. The results also revealed the limitations of fine-tuning LLMs with small-scale and skewed datasets. This research highlights the potential of RAG systems in augmenting LLMs with external datasets for improved performance in knowledge-intensive tasks. Our code and models are available on Github.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google