The Lazy Student’s Dream: ChatGPT Passing an Engineering Course on Its Own

要約

このペーパーでは、学期にわたる学部管理システムコースを正常に完了するための大規模な言語モデル（LLMS）の能力に関する包括的な調査を提示します。
115のコース成果物の評価を通じて、現実的な学生の使用パターンをシミュレートする「最小限の労力」プロトコルの下でChatGPTを使用してLLMパフォーマンスを評価します。
この調査では、自動格付けされた複数選択の質問から複雑なPythonプログラミングタスクや長期の分析ライティングまで、複数の評価形式にわたる厳格なテスト方法を採用しています。
私たちの分析は、制御システムエンジニアリングにおける数学の定式化、コーディングの課題、および理論的概念の処理におけるAIの強みと制限に関する定量的洞察を提供します。
LLMはBグレードのパフォーマンス（82.24 \％）を達成し、近づいていますが、クラスの平均（84.99 \％）を超えていませんでした。
調査結果は、AIの進歩に応じたコース設計適応についての議論を知らせ、工学教育におけるこれらのツールの思慮深い統合に向けて単純な禁止を超えて移動します。
シラバス、試験用紙、設計プロジェクト、および例の回答などの追加資料は、プロジェクトWebサイトhttps：//gradegpt.github.ioに記載されています。

要約(オリジナル)

This paper presents a comprehensive investigation into the capability of Large Language Models (LLMs) to successfully complete a semester-long undergraduate control systems course. Through evaluation of 115 course deliverables, we assess LLM performance using ChatGPT under a ‘minimal effort’ protocol that simulates realistic student usage patterns. The investigation employs a rigorous testing methodology across multiple assessment formats, from auto-graded multiple choice questions to complex Python programming tasks and long-form analytical writing. Our analysis provides quantitative insights into AI’s strengths and limitations in handling mathematical formulations, coding challenges, and theoretical concepts in control systems engineering. The LLM achieved a B-grade performance (82.24\%), approaching but not exceeding the class average (84.99\%), with strongest results in structured assignments and greatest limitations in open-ended projects. The findings inform discussions about course design adaptation in response to AI advancement, moving beyond simple prohibition towards thoughtful integration of these tools in engineering education. Additional materials including syllabus, examination papers, design projects, and example responses can be found at the project website: https://gradegpt.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google