A Pipeline of Neural-Symbolic Integration to Enhance Spatial Reasoning in Large Language Models

要約

大規模言語モデル (LLM) は、さまざまなタスクにわたって優れた機能を実証してきました。
ただし、LLM は、推論と推論の重要な部分の 1 つであり、空間内のオブジェクト間の複雑な関係を理解する必要がある空間推論に苦労することがよくあります。
この論文は、LLM の空間推論能力を強化する新しい神経記号フレームワークを提案します。
StepGame と SparQA という 2 つのベンチマーク データセットでアプローチを評価し、次の 3 つの異なる戦略を実装します: (1) ASP (Answer Set Programming) ベースの記号推論、(2) DSPy を使用した LLM + ASP パイプライン、および (3) ファクト + 論理ルール
。
私たちの実験では、ベースライン プロンプト手法と比べて大幅な改善が見られ、StepGame} データセットでは 40 ～ 50%、より複雑な SparQA データセットでは 3 ～ 13% 精度が向上しました。
「LLM + ASP」パイプラインは、関係検索 (FR) 質問とブロック検索 (FB) 質問のタスクで特に優れた結果を達成しますが、パフォーマンスは質問の種類によって異なります。
この印象的な結果は、神経記号的アプローチは LLM の空間推論を強化するための有望な方向性を提供する一方で、その有効性は特定のタスクの特性と実装戦略に大きく依存することを示唆しています。
私たちは、LLM の空間推論能力を高めるために、ニューラルシンボリック パイプラインを使用した、統合されたシンプルかつ効果的な戦略セットを提案します。
このパイプラインとその戦略は、時間的推論、演繹的推論など、LLM の他の推論ドメインへの強力かつ幅広い適用可能性を示しています。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated impressive capabilities across various tasks. However, LLMs often struggle with spatial reasoning which is one essential part of reasoning and inference and requires understanding complex relationships between objects in space. This paper proposes a novel neural-symbolic framework that enhances LLMs’ spatial reasoning abilities. We evaluate our approach on two benchmark datasets: StepGame and SparQA, implementing three distinct strategies: (1) ASP (Answer Set Programming)-based symbolic reasoning, (2) LLM + ASP pipeline using DSPy, and (3) Fact + Logical rules. Our experiments demonstrate significant improvements over the baseline prompting methods, with accuracy increases of 40-50% on StepGame} dataset and 3-13% on the more complex SparQA dataset. The ‘LLM + ASP’ pipeline achieves particularly strong results on the tasks of Finding Relations (FR) and Finding Block (FB) questions, though performance varies across different question types. The impressive results suggest that while neural-symbolic approaches offer promising directions for enhancing spatial reasoning in LLMs, their effectiveness depends heavily on the specific task characteristics and implementation strategies. We propose an integrated, simple yet effective set of strategies using a neural-symbolic pipeline to boost spatial reasoning abilities in LLMs. This pipeline and its strategies demonstrate strong and broader applicability to other reasoning domains in LLMs, such as temporal reasoning, deductive inference etc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google