Learning from Partially Annotated Data: Example-aware Creation of Gap-filling Exercises for Language Learning

要約

演習（模擬試験など）の実行は学習の重要な要素を形成し、そのような演習の作成には教師の並大抵の努力が必要であるため、教育におけるデジタルツールでの演習の自動生成には大きな価値があります。
この論文では、言語学習のための穴埋め演習、特に文法演習の自動作成に特に焦点を当てています。
この領域に注釈を付けるには専門家による人間の努力が必要であるため、私たちはそれを完全に回避し、明示的な指示や意図した文法の詳細な注釈を付けずに、純粋に演習例に基づいて、既存のテキストを新しい穴埋め演習に変換するタスクを検討することを目指しています。
トピック。
私たちは、(i) 前述の穴埋め演習生成タスク用に特別に設計された新しいニューラル ネットワーク アーキテクチャ、および (ii) フランス語文法の現実世界のベンチマーク データセットに貢献します。
このフランス語文法穴埋め演習生成のモデルは、競合するベースライン分類器よりも F1 パーセンテージ ポイントで 8% 優れており、平均 F1 スコア 82% を達成していることを示します。
私たちのモデル実装とデータセットは将来の研究を促進するために公開されており、文法演習の作成において提案されている部分的に注釈が付けられたデータ予測タスクの標準化された評価とベースライン ソリューションを提供します。

要約(オリジナル)

Since performing exercises (including, e.g., practice tests) forms a crucial component of learning, and creating such exercises requires non-trivial effort from the teacher, there is a great value in automatic exercise generation in digital tools in education. In this paper, we particularly focus on automatic creation of gapfilling exercises for language learning, specifically grammar exercises. Since providing any annotation in this domain requires human expert effort, we aim to avoid it entirely and explore the task of converting existing texts into new gap-filling exercises, purely based on an example exercise, without explicit instruction or detailed annotation of the intended grammar topics. We contribute (i) a novel neural network architecture specifically designed for aforementioned gap-filling exercise generation task, and (ii) a real-world benchmark dataset for French grammar. We show that our model for this French grammar gap-filling exercise generation outperforms a competitive baseline classifier by 8% in F1 percentage points, achieving an average F1 score of 82%. Our model implementation and the dataset are made publicly available to foster future research, thus offering a standardized evaluation and baseline solution of the proposed partially annotated data prediction task in grammar exercise creation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google