Do Chains-of-Thoughts of Large Language Models Suffer from Hallucinations, Cognitive Biases, or Phobias in Bayesian Reasoning?

要約

議論を推論し、慎重に説明することを学ぶことは、学生の認知、数学、および計算の思考開発の中心です。
これは、不確実性とベイジアンの推論における問題において特に困難です。
チェーンオブシャーチ（COT）を使用して推論できる新世代の大規模な言語モデル（LLM）により、人工的な内部声との対話を通して彼らの推論を説明する際に、彼らと一緒に学ぶ絶好の機会があります。
ベイジアンの推論を学ぶ魅力的で素晴らしい機会です。
さらに、異なるLLMが反対のソリューションに到達することがあることを考えると、COTは推論の詳細な比較により、深い学習の機会を生み出します。
しかし、人間とは異なり、自然周波数、オブジェクト全体、具体化されたヒューリスティックなどの生態学的に有効な戦略を使用して自律的に説明していないことがわかりました。
これらの戦略は、人間が批判的な間違いを避け、ベイジアンの推論において教育学的価値を証明するのに役立つため、これは残念です。
これらのバイアスを克服し、理解と学習を支援するために、LLMがこれらの戦略を使用するように誘導するプロンプトを含めました。
COTを備えたLLMはそれらを組み込んでいますが、一貫してではないことがわかりました。
それらは、生態学的に有効な戦略の象徴的な推論と回避または恐怖症に向けて持続的なバイアスを示しています。

要約(オリジナル)

Learning to reason and carefully explain arguments is central to students’ cognitive, mathematical, and computational thinking development. This is particularly challenging in problems under uncertainty and in Bayesian reasoning. With the new generation of large language models (LLMs) capable of reasoning using Chain-of-Thought (CoT), there is an excellent opportunity to learn with them as they explain their reasoning through a dialogue with their artificial internal voice. It is an engaging and excellent opportunity to learn Bayesian reasoning. Furthermore, given that different LLMs sometimes arrive at opposite solutions, CoT generates opportunities for deep learning by detailed comparisons of reasonings. However, unlike humans, we found that they do not autonomously explain using ecologically valid strategies like natural frequencies, whole objects, and embodied heuristics. This is unfortunate, as these strategies help humans avoid critical mistakes and have proven pedagogical value in Bayesian reasoning. In order to overcome these biases and aid understanding and learning, we included prompts that induce LLMs to use these strategies. We found that LLMs with CoT incorporate them but not consistently. They show persistent biases towards symbolic reasoning and avoidance or phobia of ecologically valid strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google