How Do Programming Students Use Generative AI?

要約

プログラミングを学ぶ学生は、ChatGPT のような強力な生成 AI ツールに広くアクセスできます。
これは学習教材を理解し、演習を支援するのに役立ちますが、生成された出力への過度の依存や批判的思考スキルの欠如について、教育者からの懸念の声がますます高まっています。
したがって、学生が実際に生成 AI をどのように使用するのか、そしてこれが学習行動にどのような影響を与える可能性があるのか​​を理解することが重要です。
この目的を達成するために、私たちは 37 人のプログラミング学生を対象に探索的実験を含む研究を実施し、コードを理解し演習を改善しながら ChatGPT への監視されたアクセスを提供しました。
実際にチャットボットの使用を選択した学生は 23 人だけでしたが、最終的にはその大多数が完全なソリューションを生成するよう促しました。
私たちは、一般的な概念に関する知識を求めることと、ソリューションを直接生成することという 2 つの一般的な使用戦略を観察しました。
学生はコードと自分自身の間違いを理解するためにボットを使用する代わりに、間違って生成されたコードを提出し、ボットに修正を求めるという悪循環に陥ることがよくありました。
生成 AI を定期的に使用していると自己報告した人は、ボットに解決策を生成するよう促す可能性が高くなりました。
私たちの調査結果は、Generative AI によるプログラマーの主体性と生産性が低下する可能性についての懸念が正当であることを示しています。
学生が無批判に生成型 AI に過度に依存する潜在的なリスクに研究者と教育者がどのように対応できるかについて議論します。
また、大規模な反復のための研究デザインの変更の可能性についても説明します。

要約(オリジナル)

Programming students have a widespread access to powerful Generative AI tools like ChatGPT. While this can help understand the learning material and assist with exercises, educators are voicing more and more concerns about an over-reliance on generated outputs and lack of critical thinking skills. It is thus important to understand how students actually use generative AI and what impact this could have on their learning behavior. To this end, we conducted a study including an exploratory experiment with 37 programming students, giving them monitored access to ChatGPT while solving a code understanding and improving exercise. While only 23 of the students actually opted to use the chatbot, the majority of those eventually prompted it to simply generate a full solution. We observed two prevalent usage strategies: to seek knowledge about general concepts and to directly generate solutions. Instead of using the bot to comprehend the code and their own mistakes, students often got trapped in a vicious cycle of submitting wrong generated code and then asking the bot for a fix. Those who self-reported using generative AI regularly were more likely to prompt the bot to generate a solution. Our findings indicate that concerns about potential decrease in programmers’ agency and productivity with Generative AI are justified. We discuss how researchers and educators can respond to the potential risk of students uncritically over-relying on generative AI. We also discuss potential modifications to our study design for large-scale replications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google