Call Me When Necessary: LLMs can Efficiently and Faithfully Reason over Structured Environments

要約

大規模言語モデル (LLM) は、ナレッジ グラフやテーブルなどの構造化された環境に対する推論において潜在的な可能性を示しています。
このようなタスクは通常、マルチホップ推論、つまり自然言語の発話を環境内のインスタンスと照合する必要があります。
以前の方法では、LLM を利用して推論パスを段階的に構築し、LLM は環境と段階的に対話してツールを呼び出すか、スキーマを取得します。
私たちは、LLM が構造化された環境を効率的かつ忠実に推論できる新しいフレームワークである Reasoning-Path-Editing (Readi) を提案します。
Readi では、LLM は最初にクエリが与えられた推論パスを生成し、必要な場合にのみパスを編集します。
構造化された環境でパスをインスタンス化し、問題が発生した場合はパスを編集するためのフィードバックを提供します。
3 つの KGQA データセットと 2 つの TableQA データセットに関する実験結果は、Readi の有効性が示し、すべての LLM ベースの手法を大幅に上回り (WebQSP で 9.1%、MQA-3H で 12.4%、WTQ で 10.9%)、現状と同等です。
-art の微調整されたメソッド (CWQ で 67%、WebQSP で 74.7%) と、バニラ LLM の大幅な向上 (CWQ で 14.9%)。
私たちのコードは公開され次第利用可能になります。

要約(オリジナル)

Large Language Models (LLMs) have shown potential in reasoning over structured environments, e.g., knowledge graph and table. Such tasks typically require multi-hop reasoning, i.e., match natural language utterance with instances in the environment. Previous methods leverage LLMs to incrementally build a reasoning path, where the LLMs either invoke tools or pick up schemas by step-by-step interacting with the environment. We propose Reasoning-Path-Editing (Readi), a novel framework where LLMs can efficiently and faithfully reason over structured environments. In Readi, LLMs initially generate a reasoning path given a query, and edit the path only when necessary. We instantiate the path on structured environments and provide feedback to edit the path if anything goes wrong. Experimental results on three KGQA datasets and two TableQA datasets show the effectiveness of Readi, significantly surpassing all LLM-based methods (by 9.1% on WebQSP, 12.4% on MQA-3H and 10.9% on WTQ), comparable with state-of-the-art fine-tuned methods (67% on CWQ and 74.7% on WebQSP) and substantially boosting the vanilla LLMs (by 14.9% on CWQ). Our code will be available upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google