Evaluating Knowledge Graph Based Retrieval Augmented Generation Methods under Knowledge Incompleteness

要約

ナレッジグラフベースの検索生成（kg-rag）は、知識グラフ（KG）から関連情報を取得することにより、質問回答（QA）などのタスクの大規模な言語モデル（LLM）推論を強化する手法です。
ただし、実際のKGは不完全であることがよくあります。つまり、質問に答えるための重要な情報が欠落している可能性があります。
既存のベンチマークは、KG RAGパフォーマンスに対するKGの不完全性の影響を適切にキャプチャしません。
この論文では、異なる方法を使用してトリプルを削除し、結果として生じる効果を分析することにより、不完全なKGの下でKG-RAGメソッドを体系的に評価します。
KG-RAGメソッドはKGの不完全性に敏感であることを実証し、現実的な設定でより堅牢なアプローチの必要性を強調しています。

要約(オリジナル)

Knowledge Graph based Retrieval-Augmented Generation (KG-RAG) is a technique that enhances Large Language Model (LLM) inference in tasks like Question Answering (QA) by retrieving relevant information from knowledge graphs (KGs). However, real-world KGs are often incomplete, meaning that essential information for answering questions may be missing. Existing benchmarks do not adequately capture the impact of KG incompleteness on KG-RAG performance. In this paper, we systematically evaluate KG-RAG methods under incomplete KGs by removing triples using different methods and analyzing the resulting effects. We demonstrate that KG-RAG methods are sensitive to KG incompleteness, highlighting the need for more robust approaches in realistic settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google