FRAG: A Flexible Modular Framework for Retrieval-Augmented Generation based on Knowledge Graphs

要約

大規模言語モデル (LLM) における幻覚と知識不足を軽減するために、ナレッジ グラフ (KG) ベースの検索拡張生成 (RAG) は、LLM 推論を強化する外部リソースとして KG を利用することで、有望な可能性を示しています。
しかし、既存の KG-RAG アプローチは、柔軟性と検索品質の間のトレードオフに悩まされています。
モジュール方式では、取得中に KG 微調整モデルの使用を回避することで柔軟性を優先するため、固定的な取得戦略と次善の取得品質が生じます。
逆に、結合方法ではモデル内に KG 情報を埋め込んで検索品質を向上させますが、柔軟性が犠牲になります。
この論文では、両方のアプローチの利点を相乗する、FRAG と呼ばれる新しい柔軟なモジュール式 KG-RAG フレームワークを提案します。
FRAG は、クエリのみに基づいて推論パスのホップ範囲を推定し、クエリを単純または複雑に分類します。
クエリの複雑さに合わせて、カスタマイズされたパイプラインが適用され、効率的かつ正確な推論パスの取得が保証され、最終的な推論プロセスが促進されます。
KG の代わりにクエリ テキストを使用して推論パスの構造情報を推論し、適応可能な検索戦略を採用することにより、FRAG は柔軟性を維持しながら検索品質を向上させます。
さらに、FRAG では追加の LLM の微調整や呼び出しが必要ないため、効率が大幅に向上し、リソースが節約されます。
広範な実験により、FRAG が高効率と低リソース消費で最先端のパフォーマンスを達成することが示されています。

要約(オリジナル)

To mitigate the hallucination and knowledge deficiency in large language models (LLMs), Knowledge Graph (KG)-based Retrieval-Augmented Generation (RAG) has shown promising potential by utilizing KGs as external resource to enhance LLMs reasoning. However, existing KG-RAG approaches struggle with a trade-off between flexibility and retrieval quality. Modular methods prioritize flexibility by avoiding the use of KG-fine-tuned models during retrieval, leading to fixed retrieval strategies and suboptimal retrieval quality. Conversely, coupled methods embed KG information within models to improve retrieval quality, but at the expense of flexibility. In this paper, we propose a novel flexible modular KG-RAG framework, termed FRAG, which synergizes the advantages of both approaches. FRAG estimates the hop range of reasoning paths based solely on the query and classify it as either simple or complex. To match the complexity of the query, tailored pipelines are applied to ensure efficient and accurate reasoning path retrieval, thus fostering the final reasoning process. By using the query text instead of the KG to infer the structural information of reasoning paths and employing adaptable retrieval strategies, FRAG improves retrieval quality while maintaining flexibility. Moreover, FRAG does not require extra LLMs fine-tuning or calls, significantly boosting efficiency and conserving resources. Extensive experiments show that FRAG achieves state-of-the-art performance with high efficiency and low resource consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google