要約
数学的な問題は、生徒の問題解決能力を評価する上で極めて重要である。このような問題を手作業で作成するには多大な労力を必要とするため、自動化された方法が検討されてきました。既存の最先端モデルは微調整戦略に依存しており、論理的推論や算術的推論の複数のステップを多用する問題を生成するのに苦労しています。一方、ChatGPTのような大規模言語モデル(LLM)は、論理的推論や算術的推論を含む多くのNLPタスクで優れています。それにもかかわらず、教育問題生成への応用は、特に数学分野では十分に活用されていない。このギャップを埋めるために、我々は大学入学前の数学の問題生成におけるChatGPTの詳細な分析を行うための第一歩を踏み出す。私たちの分析は2つの主要な設定に分類されます：コンテキストを認識する設定とコンテキストを認識しない設定。コンテキストを意識した設定では、我々はChatGPTを既存の数学の質問応答ベンチマークで評価します。コンテキストを意識しない設定では、私たちがクロールした大学入学前の数学カリキュラムから各レッスンの数学問題を生成してChatGPTを評価します。我々のクロールの結果、121の数学トピックと初等・中等・高等の428のレッスンから収集された大学入学前の数学カリキュラムの包括的で斬新なコレクションであるTopicMathが得られた。この分析を通して、ChatGPTの数学の質問者としての可能性について洞察を提供することを目的としています。
要約(オリジナル)
Mathematical questioning is crucial for assessing students problem-solving skills. Since manually creating such questions requires substantial effort, automatic methods have been explored. Existing state-of-the-art models rely on fine-tuning strategies and struggle to generate questions that heavily involve multiple steps of logical and arithmetic reasoning. Meanwhile, large language models(LLMs) such as ChatGPT have excelled in many NLP tasks involving logical and arithmetic reasoning. Nonetheless, their applications in generating educational questions are underutilized, especially in the field of mathematics. To bridge this gap, we take the first step to conduct an in-depth analysis of ChatGPT in generating pre-university math questions. Our analysis is categorized into two main settings: context-aware and context-unaware. In the context-aware setting, we evaluate ChatGPT on existing math question-answering benchmarks covering elementary, secondary, and ternary classes. In the context-unaware setting, we evaluate ChatGPT in generating math questions for each lesson from pre-university math curriculums that we crawl. Our crawling results in TopicMath, a comprehensive and novel collection of pre-university math curriculums collected from 121 math topics and 428 lessons from elementary, secondary, and tertiary classes. Through this analysis, we aim to provide insight into the potential of ChatGPT as a math questioner.
arxiv情報
| 著者 | Phuoc Pham Van Long,Duc Anh Vu,Nhat M. Hoang,Xuan Long Do,Anh Tuan Luu |
| 発行日 | 2023-12-04 06:23:37+00:00 |
| arxivサイト | arxiv_id(pdf) |