Don’t Forget to Connect! Improving RAG with Graph-based Reranking

要約

検索拡張生成 (RAG) は、既存のドキュメントからのコンテキストに基づいて生成することにより、大規模言語モデル (LLM) 応答のパフォーマンスを大幅に向上させました。
これらのシステムは、ドキュメントが質問のコンテキストに明らかに関連している場合にうまく機能します。
しかし、文書に部分的な情報が含まれている場合や、コンテキストとのつながりがあまり明らかではない場合はどうなるでしょうか?
そして、文書間のつながりをどのように推論すればよいでしょうか?
この研究では、RAG 生成に関するこれら 2 つの中心的な質問に答えようとします。
RAG の取得者とリーダーの間のグラフ ニューラル ネットワーク (GNN) に基づくリランカーである G-RAG を紹介します。
私たちの方法は、文書間の接続と意味情報 (抽象意味表現グラフによる) の両方を組み合わせて、RAG にコンテキスト情報に基づいたランカーを提供します。
G-RAG は、より小さい計算フットプリントでありながら、最先端のアプローチよりも優れたパフォーマンスを発揮します。
さらに、PaLM 2 のパフォーマンスをリランカーとして評価したところ、G-RAG を大幅に下回っていることがわかりました。
この結果は、大規模言語モデルを使用する場合でも、RAG の再ランキングの重要性を強調しています。

要約(オリジナル)

Retrieval Augmented Generation (RAG) has greatly improved the performance of Large Language Model (LLM) responses by grounding generation with context from existing documents. These systems work well when documents are clearly relevant to a question context. But what about when a document has partial information, or less obvious connections to the context? And how should we reason about connections between documents? In this work, we seek to answer these two core questions about RAG generation. We introduce G-RAG, a reranker based on graph neural networks (GNNs) between the retriever and reader in RAG. Our method combines both connections between documents and semantic information (via Abstract Meaning Representation graphs) to provide a context-informed ranker for RAG. G-RAG outperforms state-of-the-art approaches while having smaller computational footprint. Additionally, we assess the performance of PaLM 2 as a reranker and find it to significantly underperform G-RAG. This result emphasizes the importance of reranking for RAG even when using Large Language Models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google