Graph-Guided Reasoning for Multi-Hop Question Answering in Large Language Models

要約

思考連鎖 (CoT) プロンプトは、最終的な答えの前に一連の根拠を生成することにより、大規模言語モデル (LLM) の複数ステップの推論機能を強化しました。
我々は、CoT によって生成された推論パスを分析し、多段階推論における 2 つの問題を発見しました: (i) 質問に無関係な根拠を生成する、(ii) すべての関連情報を生成/取得するためのサブ質問またはクエリを構成できない。
これらに対処するために、グラフに基づいた CoT プロンプト手法を提案します。これは、LLM がグラフ表現/検証ステップで正しい答えに到達するようにガイドします。
具体的には、まず LLM を活用して、最初の質問と前のステップで生成された根拠を考慮した知識抽出プロンプトを使用して、「質問/根拠グラフ」を構築します。
次に、グラフ検証ステップでは、現在の根拠トリプレットを既存の質問/根拠グラフと比較して診断し、無関係な根拠を除外し、関連情報を取得するためのフォローアップの質問を生成します。
さらに、グラフ抽出から欠落したコンテキスト情報を表すために、抽出されたグラフ情報を除外した CoT パスを生成します。
私たちのグラフガイド推論手法は、以前の CoT プロンプトやマルチホップ質問応答ベンチマーク データセットのバリアントと比較して、優れたパフォーマンスを示しています。

要約(オリジナル)

Chain-of-Thought (CoT) prompting has boosted the multi-step reasoning capabilities of Large Language Models (LLMs) by generating a series of rationales before the final answer. We analyze the reasoning paths generated by CoT and find two issues in multi-step reasoning: (i) Generating rationales irrelevant to the question, (ii) Unable to compose subquestions or queries for generating/retrieving all the relevant information. To address them, we propose a graph-guided CoT prompting method, which guides the LLMs to reach the correct answer with graph representation/verification steps. Specifically, we first leverage LLMs to construct a ‘question/rationale graph’ by using knowledge extraction prompting given the initial question and the rationales generated in the previous steps. Then, the graph verification step diagnoses the current rationale triplet by comparing it with the existing question/rationale graph to filter out irrelevant rationales and generate follow-up questions to obtain relevant information. Additionally, we generate CoT paths that exclude the extracted graph information to represent the context information missed from the graph extraction. Our graph-guided reasoning method shows superior performance compared to previous CoT prompting and the variants on multi-hop question answering benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google