Mathematical Language Models: A Survey

要約

近年、数学の領域内で、事前トレーニング済み言語モデル (PLM) と大規模言語モデル (LLM) を含む言語モデル (LM) の活用が目覚ましい進歩を遂げています。
この論文は数学的 LM の包括的な調査を実施し、タスクと方法論という 2 つの異なる観点から重要な研究努力を体系的に分類します。
この状況を見ると、提案されている多数の数学的 LLM が明らかになり、それらはさらに命令学習、ツールベースの手法、基本的な CoT 手法、および高度な CoT 手法に細分化されています。
さらに、私たちの調査には、トレーニング データセット、ベンチマーク データセット、拡張データセットを含む 60 を超える数学的データセットの編集が伴います。
数学的LMの分野における主な課題に取り組み、将来の軌道を描くこの調査は、この分野の進歩に投資している研究者の間で将来のイノベーションを促進し、刺激する準備ができている貴重なリソースとして位置付けられています。

要約(オリジナル)

In recent years, there has been remarkable progress in leveraging Language Models (LMs), encompassing Pre-trained Language Models (PLMs) and Large-scale Language Models (LLMs), within the domain of mathematics. This paper conducts a comprehensive survey of mathematical LMs, systematically categorizing pivotal research endeavors from two distinct perspectives: tasks and methodologies. The landscape reveals a large number of proposed mathematical LLMs, which are further delineated into instruction learning, tool-based methods, fundamental CoT techniques, and advanced CoT methodologies. In addition, our survey entails the compilation of over 60 mathematical datasets, including training datasets, benchmark datasets, and augmented datasets. Addressing the primary challenges and delineating future trajectories within the field of mathematical LMs, this survey is positioned as a valuable resource, poised to facilitate and inspire future innovation among researchers invested in advancing this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google