Explaining Math Word Problem Solvers

要約

ニューラル ネットワークに基づく自動数学文章問題ソルバーは、算数文章問題を解く際に 70 ～ 80% の精度を達成することに成功しました。
ただし、これらのソルバーは方程式を取得するために表面的なパターンに依存する可能性があることが示されています。
数学の文章題ソルバーが解を生成するためにどのような情報を使用するかを決定するために、入力の一部を削除し、摂動されたデータセットでのモデルのパフォーマンスを測定します。
私たちの結果は、モデルが入力からの多くの単語の削除に敏感ではなく、意味のない質問が与えられた場合でもなんとか正しい答えを見つけることができることを示しています。
これは、自動ソルバーが数学の文章題の意味ロジックに従わず、特定の単語の存在に過剰適合している可能性があることを示しています。

要約(オリジナル)

Automated math word problem solvers based on neural networks have successfully managed to obtain 70-80\% accuracy in solving arithmetic word problems. However, it has been shown that these solvers may rely on superficial patterns to obtain their equations. In order to determine what information math word problem solvers use to generate solutions, we remove parts of the input and measure the model’s performance on the perturbed dataset. Our results show that the model is not sensitive to the removal of many words from the input and can still manage to find a correct answer when given a nonsense question. This indicates that automatic solvers do not follow the semantic logic of math word problems, and may be overfitting to the presence of specific words.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google