What Makes Math Word Problems Challenging for LLMs?

要約

この論文では、大規模言語モデル (LLM) にとって算数文章問題 (MWP) がなぜ困難になるのかという問題を調査します。
私たちは、MWP の主要な言語的および数学的特徴の詳細な分析を実施します。
さらに、特徴ベースの分類器をトレーニングして、著名な LLM の MWP の全体的な難易度に対する各特徴の影響をより深く理解し、これが特定のカテゴリの MWP に対して LLM がどの程度うまく機能するかを予測するのに役立つかどうかを調査します。

要約(オリジナル)

This paper investigates the question of what makes math word problems (MWPs) challenging for large language models (LLMs). We conduct an in-depth analysis of the key linguistic and mathematical characteristics of MWPs. In addition, we train feature-based classifiers to better understand the impact of each feature on the overall difficulty of MWPs for prominent LLMs and investigate whether this helps predict how well LLMs fare against specific categories of MWPs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google