Insights from Social Shaping Theory: The Appropriation of Large Language Models in an Undergraduate Programming Course

要約

コードを生成、デバッグ、説明する大規模言語モデル (LLM) の機能は、学部プログラミングに対する研究者や教育者の関心を呼び起こし、多くの人がプログラミング教育における変革の可能性を期待しています。
ただし、プログラミング教育で LLM を使用する理由と方法に関する決定には、単に LLM の技術的能力の評価以上のものが含まれる場合があります。
私たちの研究では、テクノロジー理論の社会的形成を指導枠組みとして使用し、学生の社会的認識が学生自身の LLM の使用にどのような影響を与えるかを調査しています。
次に、自己報告による LLM の使用状況と、学生の自己効力感および学部プログラミング コースの中間成績との相関関係を調べます。
コース終了後の学生の匿名アンケート (n = 158)、コース途中の自己効力感調査 (n = 158)、学生のインタビュー (n = 10)、宿題での LLM の使用状況の自己申告、および中間試験からのデータを三角測量
パフォーマンスを調査した結果、学生による LLM の使用は、将来のキャリアに対する期待や、仲間の使用に対する認識と関連していることがわかりました。
さらに、私たちの状況では、初期の自己報告による LLM の使用は、自己効力感の低下と中間スコアの低下と相関していましたが、学生が LLM の使用自体ではなく、LLM に過度に依存していると認識したことは、コース後半での自己効力感の低下と相関していました。

要約(オリジナル)

The capability of large language models (LLMs) to generate, debug, and explain code has sparked the interest of researchers and educators in undergraduate programming, with many anticipating their transformative potential in programming education. However, decisions about why and how to use LLMs in programming education may involve more than just the assessment of an LLM’s technical capabilities. Using the social shaping of technology theory as a guiding framework, our study explores how students’ social perceptions influence their own LLM usage. We then examine the correlation of self-reported LLM usage with students’ self-efficacy and midterm performances in an undergraduate programming course. Triangulating data from an anonymous end-of-course student survey (n = 158), a mid-course self-efficacy survey (n=158), student interviews (n = 10), self-reported LLM usage on homework, and midterm performances, we discovered that students’ use of LLMs was associated with their expectations for their future careers and their perceptions of peer usage. Additionally, early self-reported LLM usage in our context correlated with lower self-efficacy and lower midterm scores, while students’ perceived over-reliance on LLMs, rather than their usage itself, correlated with decreased self-efficacy later in the course.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google