Learning from Partially Annotated Data: Example-aware Creation of Gap-filling Exercises for Language Learning

要約

演習（模擬試験など）は学習の重要な要素であり、演習の作成には教師の労力が必要です。教育用デジタルツールにおいて、演習問題の自動生成は大きな価値がある。本論文では、特に言語学習のためのギャップフィリング練習問題の自動生成に焦点を当て、特に文法練習問題を対象とする。この領域で注釈を付けるには人間の専門的な努力が必要であるため、我々はそれを完全に回避することを目指し、明示的な指示や意図する文法トピックの詳細な注釈なしに、純粋に例題に基づいて既存のテキストを新しいギャップフィリング演習に変換するタスクを探究する。我々は、(i)前述のギャップフィリング練習問題生成タスクのために特別に設計された新しいニューラルネットワークアーキテクチャと、(ii)フランス語文法の実世界ベンチマークデータセットに貢献する。我々は、このフランス語文法のギャップフィリング演習生成のためのモデルが、競合するベースライン分類器をF1パーセンテージポイントで8%上回り、平均F1スコア82%を達成することを明らかにする。我々のモデルの実装とデータセットは、将来の研究を促進するために公開され、その結果、文法演習作成において提案された部分注釈データ予測タスクの標準的な評価とベースライン解を提供することができる。

要約(オリジナル)

Since performing exercises (including, e.g., practice tests) forms a crucial component of learning, and creating such exercises requires non-trivial effort from the teacher. There is a great value in automatic exercise generation in digital tools in education. In this paper, we particularly focus on automatic creation of gapfilling exercises for language learning, specifically grammar exercises. Since providing any annotation in this domain requires human expert effort, we aim to avoid it entirely and explore the task of converting existing texts into new gap-filling exercises, purely based on an example exercise, without explicit instruction or detailed annotation of the intended grammar topics. We contribute (i) a novel neural network architecture specifically designed for aforementioned gap-filling exercise generation task, and (ii) a real-world benchmark dataset for French grammar. We show that our model for this French grammar gap-filling exercise generation outperforms a competitive baseline classifier by 8% in F1 percentage points, achieving an average F1 score of 82%. Our model implementation and the dataset are made publicly available to foster future research, thus offering a standardized evaluation and baseline solution of the proposed partially annotated data prediction task in grammar exercise creation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL