Amortised Design Optimization for Item Response Theory

要約

項目反応理論 (IRT) は、教育や心理学において人間からの反応を評価するためのよく知られた方法です。
教育では、IRT は生徒の反応から生徒の能力やテスト項目の特徴を推測するために使用されます。
学生とのやり取りには費用がかかるため、学生の能力を推測するための情報を効率的に収集する方法が必要です。
最適実験計画 (OED) に基づく手法は計算コストが高くつくため、対話型アプリケーションには適用できません。
これに応じて、償却実験計画を IRT に組み込むことを提案します。
ここでは、合成データを使用して深層強化学習 (DRL) エージェントをトレーニングすることにより、計算コストが事前計算フェーズに移行されます。
エージェントは、生徒の分布に最適な情報を提供するテスト項目を選択し、実験結果に基づいて償却推論を実行するようにトレーニングされています。
導入中、エージェントはデータからパラメータを推定し、実験の履歴と結果を考慮して、ほぼリアルタイムで生徒に次のテスト項目を提案します。

要約(オリジナル)

Item Response Theory (IRT) is a well known method for assessing responses from humans in education and psychology. In education, IRT is used to infer student abilities and characteristics of test items from student responses. Interactions with students are expensive, calling for methods that efficiently gather information for inferring student abilities. Methods based on Optimal Experimental Design (OED) are computationally costly, making them inapplicable for interactive applications. In response, we propose incorporating amortised experimental design into IRT. Here, the computational cost is shifted to a precomputing phase by training a Deep Reinforcement Learning (DRL) agent with synthetic data. The agent is trained to select optimally informative test items for the distribution of students, and to conduct amortised inference conditioned on the experiment outcomes. During deployment the agent estimates parameters from data, and suggests the next test item for the student, in close to real-time, by taking into account the history of experiments and outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google