A Novel Approach to Scalable and Automatic Topic-Controlled Question Generation in Education

要約

自動質問生成 (QG) モデルの開発には、教育コンテンツの作成に関連する教師の負担が軽減され、教育実践が大幅に改善される可能性があります。
この論文では、質問の話題の焦点を制御する教育的な質問生成への新しいアプローチを紹介します。
提案されたトピック制御質問生成 (T-CQG) 方法は、教育目的で生成されたコンテンツの関連性と有効性を高めます。
私たちのアプローチでは、教育ニーズに合わせて特別に作成されたデータセットを使用して、事前トレーニングされた T5 小型モデルで微調整を行います。
この研究では、事前トレーニング戦略、量子化、データ拡張がモデルのパフォーマンスに及ぼす影響をさらに調査しています。
私たちは特に、段落レベルのコンテキストを使用して意味的に整合した質問を生成するという課題に取り組み、それによって生成された質問のトピックの特異性を向上させます。
さらに、生成された質問の話題の関連性を評価するための新しい評価方法を導入および探索します。
私たちの結果は、オフラインおよび人間による厳密な評価を通じて検証され、提案されたモデルが高品質でトピックに焦点を当てた質問を効果的に生成することを示しています。
これらのモデルは、教師の負担を軽減し、オーダーメイドの質問生成機能として機能することで、個別指導システムをサポートする可能性があります。
パラメータの数が比較的少ないため、この提案は、特定の教育トピックを処理するための質問生成モデルの機能を向上させるだけでなく、インフラストラクチャのコストを削減するスケーラブルなソリューションも提供します。
このスケーラビリティにより、ChatGPT のような独自の大規模言語モデルに依存することなく、教育現場で広く使用することが可能になります。

要約(オリジナル)

The development of Automatic Question Generation (QG) models has the potential to significantly improve educational practices by reducing the teacher workload associated with creating educational content. This paper introduces a novel approach to educational question generation that controls the topical focus of questions. The proposed Topic-Controlled Question Generation (T-CQG) method enhances the relevance and effectiveness of the generated content for educational purposes. Our approach uses fine-tuning on a pre-trained T5-small model, employing specially created datasets tailored to educational needs. The research further explores the impacts of pre-training strategies, quantisation, and data augmentation on the model’s performance. We specifically address the challenge of generating semantically aligned questions with paragraph-level contexts, thereby improving the topic specificity of the generated questions. In addition, we introduce and explore novel evaluation methods to assess the topical relatedness of the generated questions. Our results, validated through rigorous offline and human-backed evaluations, demonstrate that the proposed models effectively generate high-quality, topic-focused questions. These models have the potential to reduce teacher workload and support personalised tutoring systems by serving as bespoke question generators. With its relatively small number of parameters, the proposals not only advance the capabilities of question generation models for handling specific educational topics but also offer a scalable solution that reduces infrastructure costs. This scalability makes them feasible for widespread use in education without reliance on proprietary large language models like ChatGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google