Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben

要約

[ドイツ語での研究。] この研究では、ドイツの企業 Fobizz による AI を活用した採点ツール「AI Grading Assistant」を検証します。このツールは、教師が生徒の課題を評価し、フィードバックを提供するのをサポートするように設計されています。
過重な教育システムと、これらの課題の解決策として人工知能に対する期待の高まりという社会的背景を背景に、調査では 2 つのテスト シリーズを通じてツールの機能的適合性を評価しています。
その結果、重大な欠点が明らかになりました。ツールの数値による評価と定性的なフィードバックはランダムであることが多く、ツールの提案が組み込まれていても改善されません。
最高の評価は、ChatGPT によって生成されたテキストでのみ達成できます。
虚偽の主張や無意味な提出物はしばしば検出されない一方で、一部の採点基準の実装は信頼性が低く不透明です。
これらの欠陥は大規模言語モデル (LLM) の固有の制限に起因するため、このツールまたは類似のツールに対する根本的な改善はすぐには予見できません。
この研究は、教育における体系的な問題の即効性のある解決策として AI を導入するという広範な傾向を批判し、客観的で時間を節約できるソリューションとして AI ツールを宣伝する Fobizz のマーケティングは誤解を招き、無責任であると結論付けています。
最後に、この研究では、教育現場での AI ツールの使用について、体系的な評価と主題ごとの教育学的精査が求められています。

要約(オリジナル)

[Study in German language.] This study examines the AI-powered grading tool ‘AI Grading Assistant’ by the German company Fobizz, designed to support teachers in evaluating and providing feedback on student assignments. Against the societal backdrop of an overburdened education system and rising expectations for artificial intelligence as a solution to these challenges, the investigation evaluates the tool’s functional suitability through two test series. The results reveal significant shortcomings: The tool’s numerical grades and qualitative feedback are often random and do not improve even when its suggestions are incorporated. The highest ratings are achievable only with texts generated by ChatGPT. False claims and nonsensical submissions frequently go undetected, while the implementation of some grading criteria is unreliable and opaque. Since these deficiencies stem from the inherent limitations of large language models (LLMs), fundamental improvements to this or similar tools are not immediately foreseeable. The study critiques the broader trend of adopting AI as a quick fix for systemic problems in education, concluding that Fobizz’s marketing of the tool as an objective and time-saving solution is misleading and irresponsible. Finally, the study calls for systematic evaluation and subject-specific pedagogical scrutiny of the use of AI tools in educational contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google