New Curriculum, New Chance — Retrieval Augmented Generation for Lesson Planning in Ugandan Secondary Schools. Prototype Quality Evaluation

要約

はじめに: 中等学校における教育の質の低さは、21 世紀のウガンダ、特に農村地域における主要な問題の 1 つとして依然として考えられています。
調査により、質の低い教師の授業計画や教師の不在など、いくつかの問題が明らかになりました。
政府が新しいカリキュラムの導入を進めるにつれ、既存の授業計画は時代遅れになり、問題はさらに悪化しています。
検索拡張生成アプローチを使用して、政府認定の教科書に基づいてカスタマイズされた授業計画を生成するプロトタイプを開発しました。
これにより、教師はより効率的かつ質の高い授業計画を作成できるようになり、新しいカリキュラムと能力ベースの学習アプローチに完全に対応できるようになります。
方法: プロトタイプは、Cohere LLM、Sentence Embeddings、LangChain Framework を使用して作成され、その後、公開 Web サイトで利用できるようになりました。
Vector ストアは、すべて中等 1 レベルの 3 つの新しいカリキュラム教科書 (ICT、数学、歴史) に合わせてトレーニングされました。
教科書で推奨されている期間に基づいて、擬似ランダム生成プロトコルに従って 24 の授業計画が生成されました。
授業計画は、Ndihakubwayo らによる授業計画分析プロトコル (LPAP) に従って、3 人の独立した評価者によって技術的品質に関して分析されました。
(2022) これは特に東アフリカと能力ベースのカリキュラム向けに設計されています。
結果: LPAP を使用した 24 の授業計画の評価では、平均品質が 75 ～ 80% であり、「非常に良い授業計画」に相当しました。
スコアが 65% を下回るレッスン プランはありませんでしたが、1 つのレッスン プランにはトピックが欠けていたと主張する可能性があります。
結論として、ルワンダでの研究で実証されたように、生成された授業計画の品質は、人間が作成した授業計画よりも優れているとは言わないまでも、少なくとも同等であり、ベンチマークの 50% に達する授業計画さえありませんでした。

要約(オリジナル)

Introduction: Poor educational quality in Secondary Schools is still regarded as one of the major struggles in 21st century Uganda – especially in rural areas. Research identifies several problems, including low quality or absent teacher lesson planning. As the government pushes towards the implementation of a new curriculum, exiting lesson plans become obsolete and the problem is worsened. Using a Retrieval Augmented Generation approach, we developed a prototype that generates customized lesson plans based on the government-accredited textbooks. This helps teachers create lesson plans more efficiently and with better quality, ensuring they are fully aligned the new curriculum and the competence-based learning approach. Methods: The prototype was created using Cohere LLM and Sentence Embeddings, and LangChain Framework – and thereafter made available on a public website. Vector stores were trained for three new curriculum textbooks (ICT, Mathematics, History), all at Secondary 1 Level. Twenty-four lessons plans were generated following a pseudo-random generation protocol, based on the suggested periods in the textbooks. The lesson plans were analyzed regarding their technical quality by three independent raters following the Lesson Plan Analysis Protocol (LPAP) by Ndihokubwayo et al. (2022) that is specifically designed for East Africa and competence-based curriculums. Results: Evaluation of 24 lesson plans using the LPAP resulted in an average quality of between 75 and 80%, corresponding to ‘very good lesson plan’. None of the lesson plans scored below 65%, although one lesson plan could be argued to have been missing the topic. In conclusion, the quality of the generated lesson plans is at least comparable, if not better, than those created by humans, as demonstrated in a study in Rwanda, whereby no lesson plan even reached the benchmark of 50%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google