Analyzing ChatGPT’s Aptitude in an Introductory Computer Engineering Course

要約

タイトル：ChatGPTの初歩的なコンピュータ工学コースでの適用力の分析
要約：ChatGPTは、幅広い質問に対して人間らしいテキスト回答を生成できるツールとして、一般大衆や学界から注目されています。それは学術環境や教室での様々な質問に回答することや、論文全体を生成することにも利用できますが、そこでの利用法や問題点もあります。過去には主に人文科学、ビジネススクール、医学部分野でChatGPTの使用が試みられてきましたが、本研究では初歩的なコンピュータ工学コースでのChatGPTの適用力を探求しています。本研究は、イントロダクションレベルのコンピュータ工学コースのクイズ、宿題、試験、実験問題に対するChatGPTの適用力を評価し、一般的なコンセプトに関する質問に対してChatGPTがうまく回答できることを示しました。ただし、テキストのみを扱うツールであるため、図や図表を含む質問や、図表を生成することはできず、また、ハンズオンの実験やブレッドボードの組み立てなどのことはできません。ただし、一部の実験マニュアルの質問に対しては、うまく回答できることがわかりました。本研究で示された重要な観察結果の1つは、ChatGPTツールがコースのすべての要素を通過するためには使用できないことです。それにもかかわらず、クイズや短回答問題においては、うまく機能することが確認されました。一方で、ちょうど受験生が誤答を出すことがあるように、答えが正しくないが人間らしく聞こえる答えを生成することで、学生を混乱させる可能性があります。

要約(オリジナル)

ChatGPT has recently gathered attention from the general public and academia as a tool that is able to generate plausible and human-sounding text answers to various questions. One potential use, or abuse, of ChatGPT is in answering various questions or even generating whole essays and research papers in an academic or classroom setting. While recent works have explored the use of ChatGPT in the context of humanities, business school, or medical school, this work explores how ChatGPT performs in the context of an introductory computer engineering course. This work assesses ChatGPT’s aptitude in answering quizzes, homework, exam, and laboratory questions in an introductory-level computer engineering course. This work finds that ChatGPT can do well on questions asking about generic concepts. However, predictably, as a text-only tool, it cannot handle questions with diagrams or figures, nor can it generate diagrams and figures. Further, also clearly, the tool cannot do hands-on lab experiments, breadboard assembly, etc., but can generate plausible answers to some laboratory manual questions. One of the key observations presented in this work is that the ChatGPT tool could not be used to pass all components of the course. Nevertheless, it does well on quizzes and short-answer questions. On the other hand, plausible, human-sounding answers could confuse students when generating incorrect but still plausible answers.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI