CauseJudger: Identifying the Cause with LLMs for Abductive Logical Reasoning

要約

大規模言語モデル (LLM) は、常識、算術、演繹タスクを含む、さまざまな推論タスクを解決するために利用されてきました。
しかし、思考パターンや無関係な前提を逆転させることは困難であるため、アブダクティブな論理的推論において原因の真正性を判断する方法は依然として研究されていません。
仮説と検証方法、および人間の思考プロセスにおける無関係な情報の特定に触発され、私たちは、思考を逆から順に変換し、無関係な情報を削除することによって、考えられる原因の信頼性を特定する、CauseJudger (CJ) と呼ばれる LLM のアブダクティブ論理推論のための新しいフレームワークを提案します。
。
さらに、CauseLogics と呼ばれる意思決定タスク用のアブダクティブ論理推論データセットを構築します。これには、さまざまな推論長の 200,000 個のタスクが含まれています。
私たちの実験は、全体的な実験とアブレーション実験、および私たちのデータセットと再構築された公開データセットのケーススタディによる CJ の効率を示しています。
特に、CJ の実装は効率的であり、LLM への呼び出しは 2 回だけ必要です。
その影響は大きく、gpt-3.5 を使用すると、CJ は Zero-Shot-CoT と比較して最大 41% の正確性の向上を達成しました。
さらに、gpt-4 を使用すると、CJ はすべてのデータセットにわたって 90% を超える精度を達成しました。

要約(オリジナル)

Large language models (LLMs) have been utilized in solving diverse reasoning tasks, encompassing common sense, arithmetic and deduction tasks. However, with difficulties of reversing thinking patterns and irrelevant premises, how to determine the authenticity of the cause in abductive logical reasoning remains underexplored. Inspired by hypothesis and verification method and identification of irrelevant information in human thinking process, we propose a new framework for LLMs abductive logical reasoning called CauseJudger (CJ), which identifies the authenticity of possible cause by transforming thinking from reverse to forward and removing irrelevant information. In addition, we construct an abductive logical reasoning dataset for decision task called CauseLogics, which contains 200,000 tasks of varying reasoning lengths. Our experiments show the efficiency of CJ with overall experiments and ablation experiments as well as case studies on our dataset and reconstructed public dataset. Notably, CJ’s implementation is efficient, requiring only two calls to LLM. Its impact is profound: when using gpt-3.5, CJ achieves a maximum correctness improvement of 41% compared to Zero-Shot-CoT. Moreover, with gpt-4, CJ attains an accuracy exceeding 90% across all datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google