An effect analysis of the balancing techniques on the counterfactual explanations of student success prediction models

要約

過去10年間で、高等教育におけるデジタル・ソリューションの利用が大ブームとなった。このブームにより、大量のデータが学習者をサポートし、学習プロセスを検証するための高度なデータ分析手法を可能にした。ラーニング・アナリティクスにおける主要な研究方向の1つは、様々な機械学習手法を用いた学習者の成功予測モデリングである。このような手法やシステムに対する学習者や教師の信頼を構築するためには、関連するステークホルダーが基礎となる機械学習モデルを深く理解できるような手法や方法論を探求することが必要である。この文脈では、説明可能な機械学習ツールによる反事実説明が有望である。いくつかの反実仮想生成手法は有望であるが、その特徴が有効であるためには、実行可能で因果的でなければならない。したがって、どのような反事実生成方法が、生徒の合格予測モデルに望ましい条件、安定性、ロバスト性の点で適しているかを得ることが不可欠である。近年、教育科学における反実仮想説明の利用に関する研究がいくつか発表されているが、どのような反実仮想生成法がこの問題に適しているかについてはまだ議論されていない。本稿では、WhatIf反実仮想説明、多目的反実仮想説明、Nearest Instance反実仮想説明など、一般的に用いられる反実仮想生成手法の有効性をバランス調整後に分析した。この寄稿では、反事実的説明の実用的な有用性を実証するために、放送大学のLearning Analyticsデータセットを用いたケーススタディを紹介する。その結果、この手法の有効性が示され、モデルの予測を変更するための具体的なステップが説明される。

要約(オリジナル)

In the past decade, we have experienced a massive boom in the usage of digital solutions in higher education. Due to this boom, large amounts of data have enabled advanced data analysis methods to support learners and examine learning processes. One of the dominant research directions in learning analytics is predictive modeling of learners’ success using various machine learning methods. To build learners’ and teachers’ trust in such methods and systems, exploring the methods and methodologies that enable relevant stakeholders to deeply understand the underlying machine-learning models is necessary. In this context, counterfactual explanations from explainable machine learning tools are promising. Several counterfactual generation methods hold much promise, but the features must be actionable and causal to be effective. Thus, obtaining which counterfactual generation method suits the student success prediction models in terms of desiderata, stability, and robustness is essential. Although a few studies have been published in recent years on the use of counterfactual explanations in educational sciences, they have yet to discuss which counterfactual generation method is more suitable for this problem. This paper analyzed the effectiveness of commonly used counterfactual generation methods, such as WhatIf Counterfactual Explanations, Multi-Objective Counterfactual Explanations, and Nearest Instance Counterfactual Explanations after balancing. This contribution presents a case study using the Open University Learning Analytics dataset to demonstrate the practical usefulness of counterfactual explanations. The results illustrate the method’s effectiveness and describe concrete steps that could be taken to alter the model’s prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL