Difficult Lessons on Social Prediction from Wisconsin Public Schools

要約

タイトル：ウィスコンシン公立学校からの社会的予測についての困難な教訓

要約：
– EWSは、最近、米国の公立学校で卒業率を改善する取り組みで中心的な役割を果たしている予測アルゴリズムである。
– EWSを使用することで、どの学生が中退のリスクがあるかを予測し、個々の学生に対する介入をターゲットにすることができる。
– しかし、EWSの有効性に関する理解にはまだ大きなギャップがある。
– この研究は、米国のウィスコンシン州全域で使用されているシステムから10年近くのデータを利用して、EWSの卒業率への長期的な影響を初めて大規模に評価することを提供する。
– 予測システムによって行われたリスク評価は、マージナライズされた背景を持つ学生に対しても高度に正確であることが証明された。
– しかし、このシステムの正確さと広範な使用にもかかわらず、卒業率の改善につながったという証拠は見つかっていない。
– このような相反する気づきが持続する理由を説明することができる強固な統計的パターンが浮上している。
– 具体的には、学校レベルで測定された環境的特徴には、中退リスクに関する大きな信号が含まれている。
– しかし、各学校内では、学生の個別のパフォーマンスに対して、学術成績は本質的に独立している。
– この実証的な観察から、同じ学校内のすべての学生に同じ卒業率の確率を割り当てることが、ほぼ最適な予測であることが示唆される。
– この研究は、中退は構造的に決定されるという教育研究者や政策立案者の強力な質的理解を支持する実証的な基盤を提供する。
– 成果を改善するための主な障壁は、特定の学校内で中退のリスクがある学生を特定することではなく、異なる学区間の構造的な差を克服することにある。
– この研究の結果は、構造的な障壁に対処する介入に同時に資源を費やさないで早期警告システムの資金提供の決定を慎重に評価する必要があることを示唆している。

要約(オリジナル)

Early warning systems (EWS) are prediction algorithms that have recently taken a central role in efforts to improve graduation rates in public schools across the US. These systems assist in targeting interventions at individual students by predicting which students are at risk of dropping out. Despite significant investments and adoption, there remain significant gaps in our understanding of the efficacy of EWS. In this work, we draw on nearly a decade’s worth of data from a system used throughout Wisconsin to provide the first large-scale evaluation of the long-term impact of EWS on graduation outcomes. We present evidence that risk assessments made by the prediction system are highly accurate, including for students from marginalized backgrounds. Despite the system’s accuracy and widespread use, we find no evidence that it has led to improved graduation rates. We surface a robust statistical pattern that can explain why these seemingly contradictory insights hold. Namely, environmental features, measured at the level of schools, contain significant signal about dropout risk. Within each school, however, academic outcomes are essentially independent of individual student performance. This empirical observation indicates that assigning all students within the same school the same probability of graduation is a nearly optimal prediction. Our work provides an empirical backbone for the robust, qualitative understanding among education researchers and policy-makers that dropout is structurally determined. The primary barrier to improving outcomes lies not in identifying students at risk of dropping out within specific schools, but rather in overcoming structural differences across different school districts. Our findings indicate that we should carefully evaluate the decision to fund early warning systems without also devoting resources to interventions tackling structural barriers.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI