Web vs. LLMs: An Empirical Study of Learning Behaviors of CS2 Students

要約

ChatGPT などの LLM は、プログラミングおよび関連概念を学習するためのツールとして高等教育の学生に広く採用されています。
しかし、LLM で学習する際に学生がどれほど効果的であるか、また学生がどのような戦略を使用するかは依然として不明です。
学生のオンライン自習経験の大部分は Google などの検索エンジンを使用したものであるため、この文脈で AI ツールを評価することは、これらのギャップに対処するのに役立ちます。
この混合法の研究では、CS2 の学生が LLM と教育 Web サイトやビデオなどの従来のオンライン手法の両方を使用してプログラミングの概念をどのように学習するかを理解するために探索的な科目内研究を実施し、学生が両方のシナリオ内および両方のシナリオにわたって学習にどのようにアプローチするかを調査しました。
私たちは、学生が ChatGPT を使用するよりも従来の方法を使用した方が難しい概念を学習するのが簡単であると感じていることを発見しました。
また、LLM へのプロンプトでは明示的に情報を求める傾向がある一方で、学生はフォローアップを少なくし、検索エンジンに対してキーワードベースのクエリを使用することが多いこともわかりました。

要約(オリジナル)

LLMs such as ChatGPT have been widely adopted by students in higher education as tools for learning programming and related concepts. However, it remains unclear how effective students are and what strategies students use while learning with LLMs. Since the majority of students’ experiences in online self-learning have come through using search engines such as Google, evaluating AI tools in this context can help us address these gaps. In this mixed methods research, we conducted an exploratory within-subjects study to understand how CS2 students learn programming concepts using both LLMs as well as traditional online methods such as educational websites and videos to examine how students approach learning within and across both scenarios. We discovered that students found it easier to learn a more difficult concept using traditional methods than using ChatGPT. We also found that students ask fewer follow-ups and use more keyword-based queries for search engines while their prompts to LLMs tend to explicitly ask for information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google