RULEBREAKERS: Challenging LLMs at the Crossroads between Formal Logic and Human-like Reasoning

要約

正式なロジックにより、コンピューターは象徴的な形式で文を表すことにより、コンピューターが自然言語で推論し、ルールを適用して結論を​​導き出すことができます。
しかし、私たちの研究が「ルールブレイカー」のシナリオと特徴付けていることで、この方法は、彼らの常識と事実の知識を考慮して、人間によって通常推測または受け入れられない結論につながる可能性があります。
認知科学の作品に触発されて、ルールブレイカーは、人間のような方法でルールブレイカー（非ルールブレイカー）を認識して応答する大規模な言語モデル（LLM）の能力を厳密に評価するための最初のデータセットを作成します。
7つのLLMSを評価すると、GPT-4Oを含むほとんどのモデルがルールブレーカーの平凡な精度を達成し、典型的な人間の推論者に予想されるものとは異なり、論理ルールを過度に適用する傾向を示すことがわかります。
さらなる分析は、この明らかな障害が、モデルの世界知識の利用不良と注意分布パターンに潜在的に関連していることを示唆しています。
現在のLLMの制限を明らかにしながら、私たちの研究は、LLMSの一般的な推論能力を改善するための正式な論理に依存している方法を提案し、LLMSと人間のような推論の間の発散をさらに高めるリスクを強調する最近の作品の増加体にタイムリーな相殺を提供します。

要約(オリジナル)

Formal logic enables computers to reason in natural language by representing sentences in symbolic forms and applying rules to derive conclusions. However, in what our study characterizes as ‘rulebreaker’ scenarios, this method can lead to conclusions that are typically not inferred or accepted by humans given their common sense and factual knowledge. Inspired by works in cognitive science, we create RULEBREAKERS, the first dataset for rigorously evaluating the ability of large language models (LLMs) to recognize and respond to rulebreakers (versus non-rulebreakers) in a human-like manner. Evaluating seven LLMs, we find that most models, including GPT-4o, achieve mediocre accuracy on RULEBREAKERS and exhibit some tendency to over-rigidly apply logical rules unlike what is expected from typical human reasoners. Further analysis suggests that this apparent failure is potentially associated with the models’ poor utilization of their world knowledge and their attention distribution patterns. Whilst revealing a limitation of current LLMs, our study also provides a timely counterbalance to a growing body of recent works that propose methods relying on formal logic to improve LLMs’ general reasoning capabilities, highlighting their risk of further increasing divergence between LLMs and human-like reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google