A Framework for Responsible Development of Automated Student Feedback with Generative AI

要約

学生の学習をサポートするには、学生に豊富なフィードバックを提供することが不可欠です。
特に大規模言語モデリング (LLM) における生成 AI の最近の進歩により、再現可能でスケーラブルかつ即座に自動生成されたフィードバックを生徒に提供する機会が提供され、これまで希少で高価だった学習リソースが豊富になりました。
このようなアプローチは、人工知能 (AI) と自然言語処理 (NLP) の最近の進歩により、技術的な観点から実現可能です。
潜在的なプラス面は強力な動機ではありますが、そうすることで、これらのテクノロジーを適用する際に考慮しなければならないさまざまな潜在的な倫理問題が生じます。
AI システムの魅力は、最も日常的なタスクを効果的に自動化できることです。
しかしこれは、自動化が難しいという理由でロングテールの少数派のニーズが無視される、「多数派の専制」を招く危険性がある。
貴重で本物のフィードバックを生成できる機械学習モデルを開発するには、人間の領域専門家の意見が必要です。
この専門知識を取得する際に行う選択 (誰が、何を、いつ、どのように行うか) は、結果として得られるフィードバックの性質に重大な影響を及ぼします。
モデルをどのように維持するかは、学生コホートの状況、理論、および以前の学習プロファイルの一時的な変化を考慮して、フィードバックがどのように関連性を維持するかに影響します。
これらの質問は倫理的な観点から重要です。
しかし、それらは運用の観点からも重要です。
これらに答えられない限り、AI によって生成されたシステムは、現代の学習環境で有用な機能として機能するために必要な信頼を欠くことになります。
この記事では、自動フィードバックの最前線を概説し、自動フィードバックの提供に伴う倫理的問題を特定し、学者が責任を持ってそのようなシステムを開発するのを支援するフレームワークを提示します。

要約(オリジナル)

Providing rich feedback to students is essential for supporting student learning. Recent advances in generative AI, particularly within large language modelling (LLM), provide the opportunity to deliver repeatable, scalable and instant automatically generated feedback to students, making abundant a previously scarce and expensive learning resource. Such an approach is feasible from a technical perspective due to these recent advances in Artificial Intelligence (AI) and Natural Language Processing (NLP); while the potential upside is a strong motivator, doing so introduces a range of potential ethical issues that must be considered as we apply these technologies. The attractiveness of AI systems is that they can effectively automate the most mundane tasks; but this risks introducing a ‘tyranny of the majority’, where the needs of minorities in the long tail are overlooked because they are difficult to automate. Developing machine learning models that can generate valuable and authentic feedback requires the input of human domain experts. The choices we make in capturing this expertise — whose, which, when, and how — will have significant consequences for the nature of the resulting feedback. How we maintain our models will affect how that feedback remains relevant given temporal changes in context, theory, and prior learning profiles of student cohorts. These questions are important from an ethical perspective; but they are also important from an operational perspective. Unless they can be answered, our AI generated systems will lack the trust necessary for them to be useful features in the contemporary learning environment. This article will outline the frontiers of automated feedback, identify the ethical issues involved in the provision of automated feedback and present a framework to assist academics to develop such systems responsibly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google