LogiDynamics: Unraveling the Dynamics of Logical Inference in Large Language Model Reasoning

要約

現代の大規模な言語モデル（LLM）は、推論タスクに対処する際に、暗黙的かつ明示的に、さまざまな形式の論理推論を採用しています。
これらの推論パラダイムを最適に活用する方法を理解することは、LLMの推論機能を進めるために重要です。
このペーパーでは、3つの次元にわたって体系的にパラメーター化された類似の推論（基本的な認知タスク）のために制御された評価環境を導入することにより、探索的アプローチを採用しています：モダリティ（テキスト、視覚、象徴）、難易度（簡単、中、ハード）、およびタスク形式（複数の選択またはフリーテキスト生成）。
これらの次元にわたって、誘導性、誘ductive、および演ductiveの推論パイプラインの比較ダイナミクスを分析し、調査結果がより広範なコンテキスト学習タスクに一般化することを示しています。
さらに、仮説の選択、検証、洗練などの高度なパラダイムを調査し、LLM推論における論理的推論を拡大する可能性を明らかにします。
この探索的研究は、体系的な論理推論戦略を通じてLLMの推論を強化する際の将来の研究の基盤を提供します。
リソースはhttps://github.com/hkust-knowcomp/logidynamicsで入手できます。

要約(オリジナル)

Modern large language models (LLMs) employ various forms of logical inference, both implicitly and explicitly, when addressing reasoning tasks. Understanding how to optimally leverage these inference paradigms is critical for advancing LLMs’ reasoning capabilities. This paper adopts an exploratory approach by introducing a controlled evaluation environment for analogical reasoning — a fundamental cognitive task — that is systematically parameterized across three dimensions: modality (textual, visual, symbolic), difficulty (easy, medium, hard), and task format (multiple-choice or free-text generation). We analyze the comparative dynamics of inductive, abductive, and deductive inference pipelines across these dimensions, and demonstrate that our findings generalize to broader in-context learning tasks. Additionally, we investigate advanced paradigms such as hypothesis selection, verification, and refinement, revealing their potential to scale up logical inference in LLM reasoning. This exploratory study provides a foundation for future research in enhancing LLM reasoning through systematic logical inference strategies. Resources are available at https://github.com/HKUST-KnowComp/LogiDynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google