Can AI Chatbots Pass the Fundamentals of Engineering (FE) and Principles and Practice of Engineering (PE) Structural Exams?

要約

タイトル：AI ChatbotはFEおよびPE Structural Examsに合格できるか？

要約：
– Chatbot技術の急速な進展によって、OpenAI ChatGPT-4やGoogle Bardが開発され、医学や法律の資格試験に合格することが報告されている。
– この論文では、ChatGPT-4およびBardが土木および環境工学の資格試験であるFEおよびPEに合格できるかを評価する。
– FEおよびPEには、様々な土木および環境工学に関する問題が含まれるため、それらを用いてChatbotの性能を評価した。
– Chatbotの応答は、関連性、正確性、明解性に基づいて分析され、National Council of Examiners for Engineering and Surveying（NCEES）の推奨に比較された。
– 調査によると、ChatGPT-4およびBardは、それぞれFE試験で70.9％、39.2％、PE試験で46.2％、41％のスコアを獲得した。
– 現在のChatGPT-4はFE試験に合格する可能性があることが明らかになった。将来のバージョンでは両方の試験に合格する可能性が高い。
– この調査はChatbotを教育支援や工学分野のガイドとして使用する可能性を示唆している。

要約(オリジナル)

The engineering community has recently witnessed the emergence of chatbot technology with the release of OpenAI ChatGPT-4 and Google Bard. While these chatbots have been reported to perform well and even pass various standardized tests, including medical and law exams, this forum paper explores whether these chatbots can also pass the Fundamentals of Engineering (FE) and Principles and Practice of Engineering (PE) exams. A diverse range of civil and environmental engineering questions and scenarios are used to evaluate the chatbots’ performance, as commonly present in the FE and PE exams. The chatbots’ responses were analyzed based on their relevance, accuracy, and clarity and then compared against the recommendations of the National Council of Examiners for Engineering and Surveying (NCEES). Our report shows that ChatGPT-4 and Bard, respectively scored 70.9% and 39.2% in the FE exam and 46.2% and 41% in the PE exam. It is evident that the current version of ChatGPT-4 could potentially pass the FE exam. While future editions are much more likely to pass both exams, this study also highlights the potential of using chatbots as teaching assistants and guiding engineers.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI