Implicit assessment of language learning during practice as accurate as explicit testing

要約

学習者の習熟度の評価は、インテリジェント個別指導システム (ITS) の重要な部分です。
私たちは、コンピュータ支援言語学習において項目応答理論 (IRT) を使用して、テスト セッションと練習セッション中の演習という 2 つの状況で生徒の能力を評価します。
幅広いスキルにわたる徹底的なテストにより、熟練度を詳細に把握できますが、さまざまな理由で望ましくない場合があります。
したがって、私たちはまず、徹底的なテストを効率的かつ正確な適応テストに置き換えることを目指します。
不完全な条件下での徹底的なテストから収集された学習者データを使用して、適応テストをガイドする IRT モデルをトレーニングします。
実際の学習者データを使用したシミュレーションと実験により、このアプローチが効率的で正確であることが確認されています。
次に、テストを行わずに、演習による実践のコンテキストから学習者の能力を直接正確に推定できるかどうかを検討します。
演習セッションから収集した学習者データを、IRT モデリングに使用できる形式に変換します。
これは、演習を {\em 言語構造} にリンクすることによって行われます。
その後、構成要素は IRT 内で「アイテム」として扱われます。
数千人の学習者を対象とした大規模な研究の結果を紹介します。
教師による生徒の能力の評価を「真実」として使用し、テストから得られた推定値と演習から得られた推定値を比較します。
実験により、IRT モデルが演習に基づいて正確な能力推定を生成できることが確認されました。

要約(オリジナル)

Assessment of proficiency of the learner is an essential part of Intelligent Tutoring Systems (ITS). We use Item Response Theory (IRT) in computer-aided language learning for assessment of student ability in two contexts: in test sessions, and in exercises during practice sessions. Exhaustive testing across a wide range of skills can provide a detailed picture of proficiency, but may be undesirable for a number of reasons. Therefore, we first aim to replace exhaustive tests with efficient but accurate adaptive tests. We use learner data collected from exhaustive tests under imperfect conditions, to train an IRT model to guide adaptive tests. Simulations and experiments with real learner data confirm that this approach is efficient and accurate. Second, we explore whether we can accurately estimate learner ability directly from the context of practice with exercises, without testing. We transform learner data collected from exercise sessions into a form that can be used for IRT modeling. This is done by linking the exercises to {\em linguistic constructs}; the constructs are then treated as ‘items’ within IRT. We present results from large-scale studies with thousands of learners. Using teacher assessments of student ability as ‘ground truth,’ we compare the estimates obtained from tests vs. those from exercises. The experiments confirm that the IRT models can produce accurate ability estimation based on exercises.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google