Learning Beyond Pattern Matching? Assaying Mathematical Understanding in LLMs

要約

言語モデルを利用した科学的発見の進歩が見られ始めています。
この論文は、一般的な科学アシスタントとして LLM を使用することを動機として、問題を解決するために必要なさまざまな数学的スキルの理解を通じて LLM の分野知識を評価します。
特に、事前トレーニングされたモデルがすでに知っていることだけでなく、数学内の複雑な知識構造を活用することで、コンテキスト内学習や命令調整中にモデルが情報からどのように学習したかに注目します。
ニューラル タンジェント カーネル (NTK) を動機として、さまざまな種類の数学データのトレーニングを通じて LLM の確率分布の変化を評価する \textit{NTKEval} を提案します。
私たちの体系的な分析により、コンテキスト学習中のドメイン理解の証拠が見つかりました。
対照的に、特定の命令チューニングは、異なるデータでのトレーニングに関係なく、同様のパフォーマンスの変化をもたらし、異なるスキルにわたる領域の理解が不足していることを示唆しています。

要約(オリジナル)

We are beginning to see progress in language model assisted scientific discovery. Motivated by the use of LLMs as a general scientific assistant, this paper assesses the domain knowledge of LLMs through its understanding of different mathematical skills required to solve problems. In particular, we look at not just what the pre-trained model already knows, but how it learned to learn from information during in-context learning or instruction-tuning through exploiting the complex knowledge structure within mathematics. Motivated by the Neural Tangent Kernel (NTK), we propose \textit{NTKEval} to assess changes in LLM’s probability distribution via training on different kinds of math data. Our systematic analysis finds evidence of domain understanding during in-context learning. By contrast, certain instruction-tuning leads to similar performance changes irrespective of training on different data, suggesting a lack of domain understanding across different skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google