Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners?

要約

大規模言語モデル (LLM) を認知モデルとして採用することへの関心が高まっています。
このような目的のためには、どの認知特性が LLM によって適切にモデル化されているか、どれがそうでないかを理解することが重要です。
この研究では、算数の文章問題を解くときに子供に知られている LLM のバイアスと関連して LLM のバイアスを研究します。
学習科学の文献を調査したところ、問題解決のプロセスは、文章理解、解決策の計画、解決策の実行という 3 つの異なるステップに分割できると考えられます。
現在の最先端の LLM でこのプロセスのどの部分を忠実にモデル化できるかを理解するために、それぞれのテストを構築します。
私たちは、問題の特徴をきめ細かく制御できる神経記号法を使用して、これらのテストごとに新しい文章問題のセットを生成します。
命令チューニングの有無にかかわらず、LLM は、解法プロセスのテキスト理解と解決策計画の両方のステップで人間のようなバイアスを示しますが、問題の算術式 (解法) に依存する最終ステップではそうではないという証拠が見つかりました。
実行）。

要約(オリジナル)

There is increasing interest in employing large language models (LLMs) as cognitive models. For such purposes, it is central to understand which cognitive properties are well-modeled by LLMs, and which are not. In this work, we study the biases of LLMs in relation to those known in children when solving arithmetic word problems. Surveying the learning science literature, we posit that the problem-solving process can be split into three distinct steps: text comprehension, solution planning and solution execution. We construct tests for each one in order to understand which parts of this process can be faithfully modeled by current state-of-the-art LLMs. We generate a novel set of word problems for each of these tests, using a neuro-symbolic method that enables fine-grained control over the problem features. We find evidence that LLMs, with and without instruction-tuning, exhibit human-like biases in both the text-comprehension and the solution-planning steps of the solving process, but not during the final step which relies on the problem’s arithmetic expressions (solution execution).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google