Getting too personal(ized): The importance of feature choice in online adaptive algorithms

要約

デジタル教育テクノロジーは、生徒のエクスペリエンスをカスタマイズし、どの生徒にとって何が効果的かを学ぶ可能性を提供し、より多くの生徒がテクノロジーを利用するにつれてテクノロジーを強化します。
私たちは、個人情報への適応によってすべての学生に利益をもたらすポリシーの採用が遅れる可能性があるかどうかなど、個人化する方法を発見しようとするときにコストがかかるかどうかを検討します。
私たちは、多腕バンディット (MAB) アルゴリズムを使用して、各生徒にどのバージョンの教育テクノロジーを提示するか、生徒の特性と成果の間の関係を変化させるためのポリシーを学習するというコンテキストでこれらの問題を調査します。また、アルゴリズムが認識しているかどうかも検討します。
これらの特徴。
シミュレーションを通じて、最適な行動を学習するために学生の特性が必要な場合、パーソナライゼーションに学生の特性を含めることが有益であることを示します。
他のシナリオでは、これを含めるとバンディット アルゴリズムのパフォーマンスが低下します。
さらに、不必要な生徒の特徴を組み込むと、これらの特徴について一般的ではない価値観を持つ生徒が体系的に不利になる可能性があります。
ただし、私たちのシミュレーションは、リアルタイムのパーソナライゼーションが特定の実世界のシナリオで役立つことを示唆しており、ASSISTments での既存の実験結果を使用したケーススタディを通じてこれを説明します。
全体として、私たちのシミュレーションは、教育テクノロジーにおける適応的なパーソナライゼーションが諸刃の剣である可能性があることを示しています。リアルタイムの適応は、状況によっては生徒のエクスペリエンスを向上させますが、適応が遅くなり、差別的な結果が生じる可能性があるため、よりパーソナライズされたモデルが必ずしも有益であるとは限りません。

要約(オリジナル)

Digital educational technologies offer the potential to customize students’ experiences and learn what works for which students, enhancing the technology as more students interact with it. We consider whether and when attempting to discover how to personalize has a cost, such as if the adaptation to personal information can delay the adoption of policies that benefit all students. We explore these issues in the context of using multi-armed bandit (MAB) algorithms to learn a policy for what version of an educational technology to present to each student, varying the relation between student characteristics and outcomes and also whether the algorithm is aware of these characteristics. Through simulations, we demonstrate that the inclusion of student characteristics for personalization can be beneficial when those characteristics are needed to learn the optimal action. In other scenarios, this inclusion decreases performance of the bandit algorithm. Moreover, including unneeded student characteristics can systematically disadvantage students with less common values for these characteristics. Our simulations do however suggest that real-time personalization will be helpful in particular real-world scenarios, and we illustrate this through case studies using existing experimental results in ASSISTments. Overall, our simulations show that adaptive personalization in educational technologies can be a double-edged sword: real-time adaptation improves student experiences in some contexts, but the slower adaptation and potentially discriminatory results mean that a more personalized model is not always beneficial.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google