Can AI Chatbots Pass the Fundamentals of Engineering (FE) and Principles and Practice of Engineering (PE) Structural Exams?

要約

タイトル：
– AIチャットボットは、工学基礎試験および工学原理と実践試験に合格できるか？

要約：
– 工学界では、OpenAI ChatGPT-4やGoogle Bardのリリースにより、チャットボット技術が登場しました。
– これらのチャットボットは、医療や法律の試験を含め、様々な標準化された試験に合格したと報告されていますが、この論文では、これらのチャットボットが工学基礎試験および工学原理と実践試験に合格することができるかどうかを探究しています。
– FE試験およびPE試験で一般的に出題される多様な土木・環境工学の質問やシナリオを使用して、チャットボットのパフォーマンスを評価しました。
– チャットボットの回答は、適切性、正確性、明瞭性に基づいて分析され、国立工学者・調査員評議会（NCEES）の推奨と比較されました。
– 当レポートによると、ChatGPT-4およびBardは、FE試験でそれぞれ70.9％と39.2％、PE試験で46.2％と41％のスコアを獲得しました。
– 現在のChatGPT-4は、工学基礎試験に合格する可能性があります。今後のバージョンは、両試験に合格する可能性がより高いでしょう。
– この研究は、チャットボットを教育アシスタントやエンジニアのガイドとして利用する可能性を示唆しています。

要約(オリジナル)

The engineering community has recently witnessed the emergence of chatbot technology with the release of OpenAI ChatGPT-4 and Google Bard. While these chatbots have been reported to perform well and even pass various standardized tests, including medical and law exams, this forum paper explores whether these chatbots can also pass the Fundamentals of Engineering (FE) and Principles and Practice of Engineering (PE) exams. A diverse range of civil and environmental engineering questions and scenarios are used to evaluate the chatbots’ performance, as commonly present in the FE and PE exams. The chatbots’ responses were analyzed based on their relevance, accuracy, and clarity and then compared against the recommendations of the National Council of Examiners for Engineering and Surveying (NCEES). Our report shows that ChatGPT-4 and Bard, respectively scored 70.9% and 39.2% in the FE exam and 46.2% and 41% in the PE exam. It is evident that the current version of ChatGPT-4 could potentially pass the FE exam. While future editions are much more likely to pass both exams, this study also highlights the potential of using chatbots as teaching assistants and guiding engineers.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI