Real-World Deployment and Evaluation of Kwame for Science, An AI Teaching Assistant for Science Education in West Africa

要約

アフリカでは生徒と教師の比率が高く、生徒が教育的質問応答などの学習サポートのために教師にアクセスすることが制限されています。
この作業では、コーディング教育用の以前の AI ティーチング アシスタントである Kwame を拡張し、科学教育に適応させ、Web アプリとして展開しました。
Kwame for Science は、西アフリカ高等中等資格試験 (WASSCE) の統合科学科目に基づいて、学生からの質問への回答として、厳選された知識源と関連する過去の国家試験問題からのパッセージを提供します。
さらに、学生は過去の国家試験の問題を回答とともに表示し、年、問題の種類 (目的、理論、および実技)、および開発したトピック検出モデルによって自動的に分類されたトピック (91% の重み付けされていない平均再現率) でフィルター処理することができます。
.
Kwame for Science を実際の世界に 8 か月以上展開し、32 か国 (アフリカでは 15 か国) で 750 人のユーザーに 1.5K の質問をしてもらいました。
私たちの評価では、87.2% の上位 3 つの精度 (n=109 の質問) が示されました。これは、Kwame for Science が、表示された 3 つの中で少なくとも 1 つの有用な回答を提供する可能性が高いことを意味します。
モデルが質問に正しく答えなかった理由を分類して、将来の改善のための洞察を提供しました。
また、他の研究者が同様のツールを展開できるように、そのようなツールの開発、展開、および人間とコンピューターの相互作用コンポーネントとの課題と教訓を共有します。
Kwame for Science は、アフリカのコンテキスト内で初めてのツールを使用して、アフリカ中の何百万人もの人々にスケーラブルで費用対効果が高く、質の高い遠隔教育を提供できる可能性を秘めています。

要約(オリジナル)

Africa has a high student-to-teacher ratio which limits students’ access to teachers for learning support such as educational question answering. In this work, we extended Kwame, our previous AI teaching assistant for coding education, adapted it for science education, and deployed it as a web app. Kwame for Science provides passages from well-curated knowledge sources and related past national exam questions as answers to questions from students based on the Integrated Science subject of the West African Senior Secondary Certificate Examination (WASSCE). Furthermore, students can view past national exam questions along with their answers and filter by year, question type (objectives, theory, and practicals), and topics that were automatically categorized by a topic detection model which we developed (91% unweighted average recall). We deployed Kwame for Science in the real world over 8 months and had 750 users across 32 countries (15 in Africa) and 1.5K questions asked. Our evaluation showed an 87.2% top 3 accuracy (n=109 questions) implying that Kwame for Science has a high chance of giving at least one useful answer among the 3 displayed. We categorized the reasons the model incorrectly answered questions to provide insights for future improvements. We also share challenges and lessons with the development, deployment, and human-computer interaction component of such a tool to enable other researchers to deploy similar tools. With a first-of-its-kind tool within the African context, Kwame for Science has the potential to enable the delivery of scalable, cost-effective, and quality remote education to millions of people across Africa.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google