Language Models can be Logical Solvers

要約

論理的推論は人間の知性の基本的な側面であり、問​​題解決や意思決定などのタスクの重要な要素です。
最近の進歩により、大規模言語モデル (LLM) が推論機能を発揮できる可能性がありますが、複雑な論理推論は依然として課題です。
最先端のソルバー拡張言語モデルは、LLM を使用して、まず自然言語の論理質問を記号表現に解析し、次に外部論理ソルバーを採用して記号表現を取り込み、回答を出力します。
素晴らしいパフォーマンスにもかかわらず、解析エラーが発生すると、必然的に外部論理ソルバーの実行が失敗し、論理的な質問に対する答えが得られなくなります。
この論文では、論理ソルバーの推論プロセスを直接エミュレートし、ソルバーの構文と文法への厳密な準拠を学習することで解析エラーを回避する新しい言語モデルである LoGiPT を紹介します。
LoGiPT は、演繹的ソルバーの目に見えない推論プロセスを明らかにして改良することで得られた、新しく構築された命令調整データセットに基づいて微調整されています。
2 つの公開演繹的推論データセットに関する実験結果は、LoGiPT が、ChatGPT や GPT-4 などの競合 LLM における最先端のソルバー拡張 LM および少数ショット プロンプト手法よりも優れていることを示しています。

要約(オリジナル)

Logical reasoning is a fundamental aspect of human intelligence and a key component of tasks like problem-solving and decision-making. Recent advancements have enabled Large Language Models (LLMs) to potentially exhibit reasoning capabilities, but complex logical reasoning remains a challenge. The state-of-the-art, solver-augmented language models, use LLMs to parse natural language logical questions into symbolic representations first and then adopt external logical solvers to take in the symbolic representations and output the answers. Despite their impressive performance, any parsing errors will inevitably result in the failure of the execution of the external logical solver and no answer to the logical questions. In this paper, we introduce LoGiPT, a novel language model that directly emulates the reasoning processes of logical solvers and bypasses the parsing errors by learning to strict adherence to solver syntax and grammar. LoGiPT is fine-tuned on a newly constructed instruction-tuning dataset derived from revealing and refining the invisible reasoning process of deductive solvers. Experimental results on two public deductive reasoning datasets demonstrate that LoGiPT outperforms state-of-the-art solver-augmented LMs and few-shot prompting methods on competitive LLMs like ChatGPT or GPT-4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google