Knowledge Graph Prompting for Multi-Document Question Answering

要約

大規模言語モデル (LLM) の「事前トレーニング、プロンプト、予測」パラダイムは、オープンドメイン質問応答 (OD-QA) において目覚ましい成功を収めています。
しかし、このパラダイムを複数文書質問応答 (MD-QA) のシナリオで検討した研究はほとんどありません。このタスクでは、さまざまな文書の内容と構造間の論理的関連性を完全に理解する必要があります。
この重要なギャップを埋めるために、MD-QA の LLM にプロンプ​​トを作成する際に適切なコンテキストを定式化するナレッジ グラフ プロンプティング (KGP) 手法を提案します。この手法は、グラフ構築モジュールとグラフ走査モジュールで構成されます。
グラフの構築では、パッセージまたは文書構造 (ページ/テーブルなど) を象徴するノードと、パッセージ間の意味論的/語彙的類似性または文書内の構造関係を示すエッジを備えた複数の文書にわたってナレッジ グラフ (KG) を作成します。
グラフ トラバーサルの場合、ノード間を移動し、MD-QA で LLM を支援するサポート パッセージを収集する LLM ベースのグラフ トラバーサル エージェントを設計します。
構築されたグラフは、パッセージ間の移行スペースを調整し、検索待ち時間を短縮するグローバル ルーラーとして機能します。
同時に、グラフ トラバーサル エージェントは、関連するコンテキストを収集するローカル ナビゲーターとして機能し、質問に徐々にアプローチし、検索の品質を保証します。
広範な実験により、MD-QA に対する KGP の有効性が強調され、LLM のプロンプト設計を強化する際にグラフを活用する可能性が示されました。
コード: https://github.com/YuWVandy/KG-LLM-MDQA。

要約(オリジナル)

The `pre-train, prompt, predict’ paradigm of large language models (LLMs) has achieved remarkable success in open-domain question answering (OD-QA). However, few works explore this paradigm in the scenario of multi-document question answering (MD-QA), a task demanding a thorough understanding of the logical associations among the contents and structures of different documents. To fill this crucial gap, we propose a Knowledge Graph Prompting (KGP) method to formulate the right context in prompting LLMs for MD-QA, which consists of a graph construction module and a graph traversal module. For graph construction, we create a knowledge graph (KG) over multiple documents with nodes symbolizing passages or document structures (e.g., pages/tables), and edges denoting the semantic/lexical similarity between passages or intra-document structural relations. For graph traversal, we design an LLM-based graph traversal agent that navigates across nodes and gathers supporting passages assisting LLMs in MD-QA. The constructed graph serves as the global ruler that regulates the transitional space among passages and reduces retrieval latency. Concurrently, the graph traversal agent acts as a local navigator that gathers pertinent context to progressively approach the question and guarantee retrieval quality. Extensive experiments underscore the efficacy of KGP for MD-QA, signifying the potential of leveraging graphs in enhancing the prompt design for LLMs. Our code: https://github.com/YuWVandy/KG-LLM-MDQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google