Large Language Models Are Unconscious of Unreasonability in Math Problems

要約

大規模言語モデル (LLM) は、数学の問題を解決する際にかなりの機能を発揮します。
ただし、不合理な間違いを含む問題が与えられると、幻覚を引き起こす傾向があります。
この論文では、不合理な数学問題に直面したときの LLM の動作を研究し、これらの問題に対処する LLM の可能性をさらに探ります。
LLM のエラー検出能力を調べるために、Unreasonable Math 問題 (UMP) ベンチマークを構築します。
実験では、LLM は不当なエラーを検出できるものの、非幻覚コンテンツの生成には失敗することが示されています。
エラーの検出と修正の能力を向上させるために、Critical Calculation and clusion (CCC) と呼ばれる戦略的なプロンプト テンプレートをさらに設計します。
CCC を使用すると、LLM はより適切に自己評価を行い、数学の問題の不当な間違いを検出できるようになり、実際のアプリケーション シナリオにおいて信頼性と安全性が高まります。

要約(オリジナル)

Large language models (LLMs) demonstrate substantial capabilities in solving math problems. However, they tend to produce hallucinations when given questions containing unreasonable errors. In this paper, we study the behavior of LLMs when faced with unreasonable math problems and further explore their potential to address these problems. We construct the Unreasonable Math Problem (UMP) benchmark to examine the error detection ability of LLMs. Experiments show that LLMs are able to detect unreasonable errors, but still fail in generating non-hallucinatory content. In order to improve their ability of error detection and correction, we further design a strategic prompt template called Critical Calculation and Conclusion(CCC). With CCC, LLMs can better self-evaluate and detect unreasonable errors in math questions, making them more reliable and safe in practical application scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google