Assessing the Reasoning Abilities of ChatGPT in the Context of Claim Verification

要約

LLM の推論機能については、現在激しく議論されています。
主張・噂検証の観点からこの問題を考察していきます。
私たちは、あらゆる主張や噂を証拠と組み合わせて、検証に必要な原子的な推論ステップに分解するように設計された最初の論理的推論フレームワークを提案します。
私たちのフレームワークに基づいて、私たちはそのような主張と証拠のペアの 2 つの注釈付きコレクション、つまり Wikipedia からの合成データセットと、Twitter 上で広まった噂から派生した現実世界のセットを厳選しました。
これらを使用して、フレームワークのコンテキスト内で GPT-3.5-Turbo および GPT-4 (以下、ChatGPT と呼びます) の推論機能を評価し、徹底的な分析を提供します。
私たちの結果は、ChatGPT がアブダクティブ推論に苦戦していることを示していますが、これはゼロショット (ZS) や ZS CoT アプローチではなく手動の思考連鎖 (CoT) を使用することである程度軽減できます。
私たちの研究は、ChatGPT の推論プロセスが人間のような推論を反映している可能性は低く、特に一か八かの現実世界のタスクにおいて誇大広告と実際の能力を区別するには、LLM をより厳密に評価する必要があることを示唆する、増え続ける研究に貢献しています。
請求の検証など。

要約(オリジナル)

The reasoning capabilities of LLMs are currently hotly debated. We examine the issue from the perspective of claim/rumour verification. We propose the first logical reasoning framework designed to break down any claim or rumor paired with evidence into the atomic reasoning steps necessary for verification. Based on our framework, we curate two annotated collections of such claim/evidence pairs: a synthetic dataset from Wikipedia and a real-world set stemming from rumours circulating on Twitter. We use them to evaluate the reasoning capabilities of GPT-3.5-Turbo and GPT-4 (hereinafter referred to as ChatGPT) within the context of our framework, providing a thorough analysis. Our results show that ChatGPT struggles in abductive reasoning, although this can be somewhat mitigated by using manual Chain of Thought (CoT) as opposed to Zero Shot (ZS) and ZS CoT approaches. Our study contributes to the growing body of research suggesting that ChatGPT’s reasoning processes are unlikely to mirror human-like reasoning, and that LLMs need to be more rigorously evaluated in order to distinguish between hype and actual capabilities, especially in high stake real-world tasks such as claim verification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google