Learning Mathematical Rules with Large Language Models

要約

この論文では、分布性や方程式の単純化などの特定の数学的規則を学習する大規模言語モデルの機能を研究します。
私たちは、これらのルールを一般化する能力、および文章問題の文脈で再利用する能力についての経験的分析を示します。
この目的のために、そのようなルールを組み込んだ合成データを構築し、そのようなデータに対して大規模な言語モデルの微調整を実行するための厳密な方法論を提供します。
私たちの実験では、モデルがこれらのルールをある程度学習して一般化し、文章題のコンテキストで適切に再利用できることが示されました。

要約(オリジナル)

In this paper, we study the ability of large language models to learn specific mathematical rules such as distributivity or simplifying equations. We present an empirical analysis of their ability to generalize these rules, as well as to reuse them in the context of word problems. For this purpose, we provide a rigorous methodology to build synthetic data incorporating such rules, and perform fine-tuning of large language models on such data. Our experiments show that our model can learn and generalize these rules to some extent, as well as suitably reuse them in the context of word problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google