要約
初心者プログラマーは、プログラミングの概念を学習するためのコードを生成するために大規模言語モデル (LLM) に依存することが増えています。
ただし、この相互作用は表面的な取り組みにつながり、学習者に学習しているかのような錯覚を与え、スキルの向上を妨げる可能性があります。
この問題に対処するために、私たちは体系的な設計調査を実施し、AI 生成コードとのより深い関与を促進することを目的とした 7 つの認知関与手法を開発しました。
この論文では、設計プロセス、最初の 7 つのテクニック、および被験者間研究 (N=82) の結果について説明します。
次に、上位のテクニックを繰り返し改良し、被験者内研究を通じてそれらをさらに評価しました (N=42)。
各手法によって生じる摩擦、学習者が AI 支援なしで同型タスクに概念を適用するのに役立つ有効性、学習者の認識されたコーディング能力と実際のコーディング能力を一致させる成功率を評価します。
最終的に、私たちの結果は最も効果的な手法を浮き彫りにしました。学習者を段階的な問題解決プロセスに導き、学習者が AI と対話的に対話し、対応するコードが明らかになる前に各段階で何をする必要があるかを指示するというものです。
。
要約(オリジナル)
Novice programmers are increasingly relying on Large Language Models (LLMs) to generate code for learning programming concepts. However, this interaction can lead to superficial engagement, giving learners an illusion of learning and hindering skill development. To address this issue, we conducted a systematic design exploration to develop seven cognitive engagement techniques aimed at promoting deeper engagement with AI-generated code. In this paper, we describe our design process, the initial seven techniques and results from a between-subjects study (N=82). We then iteratively refined the top techniques and further evaluated them through a within-subjects study (N=42). We evaluate the friction each technique introduces, their effectiveness in helping learners apply concepts to isomorphic tasks without AI assistance, and their success in aligning learners’ perceived and actual coding abilities. Ultimately, our results highlight the most effective technique: guiding learners through the step-by-step problem-solving process, where they engage in an interactive dialog with the AI, prompting what needs to be done at each stage before the corresponding code is revealed.
arxiv情報
| 著者 | Majeed Kazemitabaar,Oliver Huang,Sangho Suh,Austin Z. Henley,Tovi Grossman |
| 発行日 | 2024-10-11 15:49:42+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google