GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning

要約

ナレッジ グラフ (KG) は、人間が作成した事実の知識を 3 つの要素 (ヘッド、リレーション、テール) の形式で表し、集合的にグラフを形成します。
KG を介した質問応答 (KGQA) は、KG によって提供された情報に対する推論に基づいて自然な質問に答えるタスクです。
大規模言語モデル (LLM) は、自然言語を理解する優れた能力により、QA タスク用の最先端のモデルです。
一方、グラフ ニューラル ネットワーク (GNN) は、KG に格納されている複雑なグラフ情報を処理できるため、KGQA に広く使用されています。
この研究では、検索拡張生成 (RAG) スタイルで LLM の言語理解能力と GNN の推論能力を組み合わせる新しい方法である GNN-RAG を紹介します。
まず、GNN は高密度 KG サブグラフを推論して、特定の質問に対する回答候補を取得します。
次に、KG 推論パスを表すために、質問エンティティと回答候補を接続する KG 内の最短パスが抽出されます。
抽出されたパスは言語化され、RAG による LLM 推論の入力として与えられます。
GNN-RAG フレームワークでは、GNN は有用なグラフ情報を抽出するための密なサブグラフ推論器として機能し、LLM はその自然言語処理能力を活用して最終的な KGQA を実現します。
さらに、GNN-RAG を使用して KGQA のパフォーマンスをさらに向上させる検索拡張 (RA) 技術を開発します。
実験結果は、GNN-RAG が 2 つの広く使用されている KGQA ベンチマーク (WebQSP および CWQ) で最先端のパフォーマンスを達成し、7B 調整済み LLM を使用した GPT-4 のパフォーマンスを上回るか、それに匹敵することを示しています。
さらに、GNN-RAG はマルチホップおよびマルチエンティティの質問において優れており、回答 F1 で競合するアプローチを 8.9 ～ 15.5% ポイント上回っています。

要約(オリジナル)

Knowledge Graphs (KGs) represent human-crafted factual knowledge in the form of triplets (head, relation, tail), which collectively form a graph. Question Answering over KGs (KGQA) is the task of answering natural questions grounding the reasoning to the information provided by the KG. Large Language Models (LLMs) are the state-of-the-art models for QA tasks due to their remarkable ability to understand natural language. On the other hand, Graph Neural Networks (GNNs) have been widely used for KGQA as they can handle the complex graph information stored in the KG. In this work, we introduce GNN-RAG, a novel method for combining language understanding abilities of LLMs with the reasoning abilities of GNNs in a retrieval-augmented generation (RAG) style. First, a GNN reasons over a dense KG subgraph to retrieve answer candidates for a given question. Second, the shortest paths in the KG that connect question entities and answer candidates are extracted to represent KG reasoning paths. The extracted paths are verbalized and given as input for LLM reasoning with RAG. In our GNN-RAG framework, the GNN acts as a dense subgraph reasoner to extract useful graph information, while the LLM leverages its natural language processing ability for ultimate KGQA. Furthermore, we develop a retrieval augmentation (RA) technique to further boost KGQA performance with GNN-RAG. Experimental results show that GNN-RAG achieves state-of-the-art performance in two widely used KGQA benchmarks (WebQSP and CWQ), outperforming or matching GPT-4 performance with a 7B tuned LLM. In addition, GNN-RAG excels on multi-hop and multi-entity questions outperforming competing approaches by 8.9–15.5% points at answer F1.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google