Data Augmentation with In-Context Learning and Comparative Evaluation in Math Word Problem Solving

要約

数学単語問題 (MWP) の解決は、自然言語処理 (NLP) において困難なタスクとなります。
この研究は、MWP ソルバーにさらに多様なトレーニング セットを提供し、最終的にはさまざまな数学問題を解く能力を向上させることを目的としています。
我々は、2 つの英語 MWP データセットに対する同義語置換、ルールベース: 質問置換、およびルールベース: 逆質問方法論など、問題テキストと方程式を変更することによるデータ拡張のためのいくつかの方法を提案します。
この研究は、Llama-7b 言語モデルを採用した新しいインコンテキスト学習拡張手法を導入することで拡張されています。
このアプローチには、数学の問題テキストを言い直すための指示ベースのプロンプトが含​​まれます。
9 つのベースライン モデルに対してパフォーマンス評価が行われ、拡張手法がベースライン モデルよりも優れていることが明らかになりました。
さらに、さまざまな拡張方法によって生成された例を連結すると、パフォーマンスがさらに向上します。

要約(オリジナル)

Math Word Problem (MWP) solving presents a challenging task in Natural Language Processing (NLP). This study aims to provide MWP solvers with a more diverse training set, ultimately improving their ability to solve various math problems. We propose several methods for data augmentation by modifying the problem texts and equations, such as synonym replacement, rule-based: question replacement, and rule based: reversing question methodologies over two English MWP datasets. This study extends by introducing a new in-context learning augmentation method, employing the Llama-7b language model. This approach involves instruction-based prompting for rephrasing the math problem texts. Performance evaluations are conducted on 9 baseline models, revealing that augmentation methods outperform baseline models. Moreover, concatenating examples generated by various augmentation methods further improves performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google