Faithful Logical Reasoning via Symbolic Chain-of-Thought

要約

最近の思考連鎖 (CoT) 技術は、心の理論を使って大規模言語モデル (LLM) の推論能力を強化していますが、記号表現や厳密な推論ルールに大きく依存する論理的推論の処理には依然として困難を伴う可能性があります。
LLM の論理的推論能力を強化するために、我々は新しいシンボリック思考連鎖、つまり SymbCoT を提案します。これは、シンボリック式と論理ルールを CoT プロンプトと統合する、完全に LLM ベースのフレームワークです。
技術的には、LLM に基づいて構築されている SymbCoT は、1) まず自然言語コンテキストを記号形式に変換し、次に 2) 記号論理規則を使用して問題を解決するための段階的な計画を導き出し、3) 続いて検証者がチェックします。
翻訳と推論の連鎖。
一次ロジックと制約最適化のシンボリック式の両方を使用した 5 つの標準データセットの徹底的な評価により、SymbCoT は、CoT 手法と比較して一貫して顕著な改善を示し、同時に現在の最先端のパフォーマンスを更新します。
さらに、私たちのシステムがより忠実で、柔軟で、説明可能な論理的推論で進歩することを実証します。
私たちの知る限り、これは、LLM を使用した論理的推論のために、記号式とルールを CoT に組み合わせた最初の例です。
コードは https://github.com/Aiden0526/SymbCoT で公開されています。

要約(オリジナル)

While the recent Chain-of-Thought (CoT) technique enhances the reasoning ability of large language models (LLMs) with the theory of mind, it might still struggle in handling logical reasoning that relies much on symbolic expressions and rigid deducing rules. To strengthen the logical reasoning capability of LLMs, we propose a novel Symbolic Chain-of-Thought, namely SymbCoT, a fully LLM-based framework that integrates symbolic expressions and logic rules with CoT prompting. Technically, building upon an LLM, SymbCoT 1) first translates the natural language context into the symbolic format, and then 2) derives a step-by-step plan to solve the problem with symbolic logical rules, 3) followed by a verifier to check the translation and reasoning chain. Via thorough evaluations on 5 standard datasets with both First-Order Logic and Constraint Optimization symbolic expressions, SymbCoT shows striking improvements over the CoT method consistently, meanwhile refreshing the current state-of-the-art performances. We further demonstrate that our system advances in more faithful, flexible, and explainable logical reasoning. To our knowledge, this is the first to combine symbolic expressions and rules into CoT for logical reasoning with LLMs. Code is open at https://github.com/Aiden0526/SymbCoT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google