要約
大規模な言語モデル(LLMS)の数学的推論能力を理解することは、人工知能の研究における中心的なトピックです。
この新しいドメインは、LLMSのパフォーマンスをトレーニングとベンチマークの両方のための推論タスクのデータセットの作成を必要とします。
この目的のために、KARPデータセットを紹介します。NP複合性削減の詳細な証明で構成される最初のデータセットです。
削減は、学部課程の単純な演習から、学術論文からのより困難な削減に至るまで、難易度が異なります。
このタスクに関する最先端モデルのパフォーマンスを比較し、推論能力に対するKARPデータセットとの微調整の影響を示します。
要約(オリジナル)
Understanding the mathematical reasoning capabilities of Large Language Models (LLMs) is a central topic in the study of artificial intelligence. This new domain necessitates the creation of datasets of reasoning tasks for both training and benchmarking the performance of LLMs. To this end, we introduce the Karp dataset: The first dataset composed of detailed proofs of NP-completeness reductions. The reductions vary in difficulty, ranging from simple exercises of undergraduate courses to more challenging reductions from academic papers. We compare the performance of state-of-the-art models on this task and demonstrate the effect of fine-tuning with the Karp dataset on reasoning capacity.
arxiv情報
著者 | Mason DiCicco,Eamon Worden,Conner Olsen,Nikhil Gangaram,Daniel Reichman,Neil Heffernan |
発行日 | 2025-01-24 18:30:19+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google