要約
ChatGPT に、「アルゴリズムとデータ構造」に関する学部のコンピューター サイエンス試験に参加するよう依頼しました。
プログラムは、学生に課せられた試験全体で評価されました。
私たちはその解答を手書きで試験用紙にコピーし、その後、200 人の参加学生の解答とともに盲検設定で採点しました。
ChatGPT は 40 点満点中 20.5 点で、わずかに試験に合格したことがわかりました。
この印象的なパフォーマンスは、ChatGPT が大学試験のような困難な課題に実際に成功できることを示しています。
同時に、私たちの試験の問題は、他の試験の問題と構造的に類似しており、宿題の問題を解決し、オンラインで見つけることができ、ChatGPT のトレーニング データの一部であった可能性がある教材です。
したがって、この実験から、ChatGPT がコンピュータ サイエンスを理解していると結論付けるのは不適切です。
また、GPT-4 による改善点も評価します。
GPT-4 は GPT-3.5 よりも約 17\% 多くの試験ポイントを獲得し、平均的な学生の成績に達していたことがわかりました。
ChatGPT との会話の書き起こしは、\url{https://github.com/tml-tuebingen/chatgpt-algorithm-exam} で入手できます。採点された試験全体は、このペーパーの付録にあります。
要約(オリジナル)
We asked ChatGPT to participate in an undergraduate computer science exam on ”Algorithms and Data Structures”. The program was evaluated on the entire exam as posed to the students. We hand-copied its answers onto an exam sheet, which was subsequently graded in a blind setup alongside those of 200 participating students. We find that ChatGPT narrowly passed the exam, obtaining 20.5 out of 40 points. This impressive performance indicates that ChatGPT can indeed succeed in challenging tasks like university exams. At the same time, the questions in our exam are structurally similar to those of other exams, solved homework problems, and teaching materials that can be found online and might have been part of ChatGPT’s training data. Therefore, it would be inadequate to conclude from this experiment that ChatGPT has any understanding of computer science. We also assess the improvements brought by GPT-4. We find that GPT-4 would have obtained about 17\% more exam points than GPT-3.5, reaching the performance of the average student. The transcripts of our conversations with ChatGPT are available at \url{https://github.com/tml-tuebingen/chatgpt-algorithm-exam}, and the entire graded exam is in the appendix of this paper.
arxiv情報
| 著者 | Sebastian Bordt,Ulrike von Luxburg |
| 発行日 | 2023-03-22 11:30:41+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google