Scratch Copilot Evaluation: Assessing AI-Assisted Creative Coding for Families

要約

AI は家族の創造的なコーディング体験をどのように強化できるでしょうか?
この研究では、家族が Scratch を使用してクリエイティブなコーディングを行えるようにする上で、大規模言語モデル (LLM) の可能性を探ります。
プロトタイプの AI アシスタントに関する以前のユーザー調査に基づいて、LLM が家族がゲーム コードを理解し、プログラムをデバッグし、将来のプロジェクトのための新しいアイデアを生み出すのに役立つかどうかを判断するために 3 つの評価シナリオを考案しました。
各シナリオに対して 22 の Scratch プロジェクトを利用し、演習タスクありまたはなしの LLM からの応答を生成し、その結果、120 のクリエイティブ コーディング サポート シナリオ データセットが得られました。
さらに、著者らは、その正確さ、教育的価値、および年齢に適した言語を独自に評価しました。
私たちの調査結果は、LLM がさまざまなタスクと評価基準で 80\% 以上の全体的な成功率を達成したことを示しています。
この研究は、クリエイティブなファミリー コーディングに LLM を使用することに関する貴重な情報を提供し、将来の AI サポート コーディング アプリケーションの設計ガイドラインを示します。
当社の評価フレームワークは、ラベル付けされた評価データとともに一般に公開されています。

要約(オリジナル)

How can AI enhance creative coding experiences for families? This study explores the potential of large language models (LLMs) in helping families with creative coding using Scratch. Based on our previous user study involving a prototype AI assistant, we devised three evaluation scenarios to determine if LLMs could help families comprehend game code, debug programs, and generate new ideas for future projects. We utilized 22 Scratch projects for each scenario and generated responses from LLMs with and without practice tasks, resulting in 120 creative coding support scenario datasets. In addition, the authors independently evaluated their precision, pedagogical value, and age-appropriate language. Our findings show that LLMs achieved an overall success rate of more than 80\% on the different tasks and evaluation criteria. This research offers valuable information on using LLMs for creative family coding and presents design guidelines for future AI-supported coding applications. Our evaluation framework, together with our labeled evaluation data, is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google