A Survey Study on the State of the Art of Programming Exercise Generation using Large Language Models

要約

このペーパーでは、プログラミング演習の生成機能に関して大規模言語モデル (LLM) を分析します。
調査研究を通じて、私たちは最先端技術を定義し、その長所と短所を抽出し、最終的に評価マトリックスを提案しました。これは、研究者や教育者がどの LLM がプログラミング演習生成のユースケースに最適であるかを判断するのに役立ちます。
また、複数の LLM が有用なプログラミング演習を作成できることもわかりました。
それにもかかわらず、LLM が生成した演習問題を LLM が解くのが容易であるなどの課題が存在します。
この文書は、教育における LLM の統合に関する進行中の議論に貢献します。

要約(オリジナル)

This paper analyzes Large Language Models (LLMs) with regard to their programming exercise generation capabilities. Through a survey study, we defined the state of the art, extracted their strengths and weaknesses and finally proposed an evaluation matrix, helping researchers and educators to decide which LLM is the best fitting for the programming exercise generation use case. We also found that multiple LLMs are capable of producing useful programming exercises. Nevertheless, there exist challenges like the ease with which LLMs might solve exercises generated by LLMs. This paper contributes to the ongoing discourse on the integration of LLMs in education.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google