PyEvalAI: AI-assisted evaluation of Jupyter Notebooks for immediate personalized feedback

要約

STEMコースでの学生の割り当てのグレーディングは、家庭教師にとって面倒で反復的なタスクであり、多くの場合、クラス全体を評価するために1週間かかります。
学生の場合、フィードバックのこの遅延により、誤ったソリューションの反復が防止され、学習を妨げ、運動スコアが最終試験への入場を決定するとストレスが増加します。
自動化されたグレーディングや個別指導システムなどのAIアシスト教育における最近の進歩は、即時のフィードバックを提供し、グレーディングワークロードを削減することにより、これらの課題に対処することを目指しています。
ただし、プライバシーの懸念、独自の閉鎖モデルへの依存、マークダウン、ラテックス、Pythonコードの組み合わせのサポートの欠如、またはグレーディングプロセスからのコースチューターの除外により、既存のソリューションが不足していることがよくあります。
これらの制限を克服するために、AIアシスト評価システムであるPyevalaiを導入します。これは、ユニットテストとローカルホストの言語モデルの組み合わせを使用してプライバシーを維持するためにJupyterノートブックを自動的にスコアスコアリングします。
私たちのアプローチは無料でオープンソースであり、チューターがグレーディングプロセスを完全に制御することを保証します。
ケーススタディでは、数字に関する大学レベルのコースでのエクササイズのフィードバック速度とグレーディング効率の向上における有効性を示しています。

要約(オリジナル)

Grading student assignments in STEM courses is a laborious and repetitive task for tutors, often requiring a week to assess an entire class. For students, this delay of feedback prevents iterating on incorrect solutions, hampers learning, and increases stress when exercise scores determine admission to the final exam. Recent advances in AI-assisted education, such as automated grading and tutoring systems, aim to address these challenges by providing immediate feedback and reducing grading workload. However, existing solutions often fall short due to privacy concerns, reliance on proprietary closed-source models, lack of support for combining Markdown, LaTeX and Python code, or excluding course tutors from the grading process. To overcome these limitations, we introduce PyEvalAI, an AI-assisted evaluation system, which automatically scores Jupyter notebooks using a combination of unit tests and a locally hosted language model to preserve privacy. Our approach is free, open-source, and ensures tutors maintain full control over the grading process. A case study demonstrates its effectiveness in improving feedback speed and grading efficiency for exercises in a university-level course on numerics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google