Call Me When Necessary: LLMs can Efficiently and Faithfully Reason over Structured Environments

要約

大規模言語モデル(LLM)は、知識グラフや表などの構造化された環境に対する推論において可能性を示している。このようなタスクは通常、マルチホップ推論を必要とする。つまり、自然言語の発話を環境内のインスタンスとマッチさせる。これまでの手法では、LLMを活用して推論経路を段階的に構築し、LLMはツールを呼び出すか、環境と段階的に相互作用することでスキーマをピックアップする。我々は、LLMが構造化された環境上で効率的かつ忠実に推論できる新しいフレームワーク、Reasoning-Path-Editing (Readi)を提案する。Readiでは、LLMは最初にクエリから推論パスを生成し、必要なときだけパスを編集する。構造化環境上でパスをインスタンス化し、何か問題があればパスを編集するようにフィードバックを提供する。つのKGQAデータセットと2つのTableQAデータセットでの実験結果は、Readiの有効性を示し、従来のLLMベースの手法を大幅に上回り（WebQSPで9.1％のHit@1、MQA-3Hで12.4％、WTQで9.5％）、最先端の微調整された手法（CWQで67％、WebQSPで74.7％）に匹敵し、バニラLLMを大幅にブーストする（CWQで14.9％）。我々のコードはhttps://aka.ms/readi。

要約(オリジナル)

Large Language Models (LLMs) have shown potential in reasoning over structured environments, e.g., knowledge graph and table. Such tasks typically require multi-hop reasoning, i.e., match natural language utterance with instances in the environment. Previous methods leverage LLMs to incrementally build a reasoning path, where the LLMs either invoke tools or pick up schemas by step-by-step interacting with the environment. We propose Reasoning-Path-Editing (Readi), a novel framework where LLMs can efficiently and faithfully reason over structured environments. In Readi, LLMs initially generate a reasoning path given a query, and edit the path only when necessary. We instantiate the path on structured environments and provide feedback to edit the path if anything goes wrong. Experimental results on three KGQA and two TableQA datasets show the effectiveness of Readi, significantly surpassing previous LLM-based methods (by 9.1% Hit@1 on WebQSP, 12.4% on MQA-3H and 9.5% on WTQ), comparable with state-of-the-art fine-tuned methods (67% on CWQ and 74.7% on WebQSP) and substantially boosting the vanilla LLMs (by 14.9% on CWQ). Our code will be available on https://aka.ms/readi.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL