Bias Analysis of AI Models for Undergraduate Student Admissions

要約

バイアスの検出と軽減は、機械学習における活発な研究分野である。本研究では、著者らが以前に行った研究を拡張し、AI予測モデルに見られるバイアスについて、厳密かつより完全な分析を行う。都市部の大規模研究大学において、ある学生が様々なシナリオの下で理学部に直接入学できるかどうかを判定するAIモデルを作成するために、6年間に及ぶ入学試験データを使用した。この間、出願書類の一部として標準化テストのスコアの提出が任意となったため、標準化テストのスコアが入学判定に与える影響について興味深い疑問が生じた。私たちは、AIモデルを開発・分析し、どの変数が入学判定において重要なのか、また、テストのスコアを除外するという決定が、入学する学生の属性にどのような影響を与えるのかを理解しました。そして、予測モデルを評価し、性別、人種、家族で初めて大学に進学したかどうかという3つの変数に関して、これらのモデルが持つ可能性のあるバイアスを検出・分析した。また、検出されたバイアスが持続的であることを示すために、分析を拡張した。最後に、いくつかの公平性の指標を分析に含め、これらの指標の用途と限界について議論した。

要約(オリジナル)

Bias detection and mitigation is an active area of research in machine learning. This work extends previous research done by the authors to provide a rigorous and more complete analysis of the bias found in AI predictive models. Admissions data spanning six years was used to create an AI model to determine whether a given student would be directly admitted into the School of Science under various scenarios at a large urban research university. During this time, submission of standardized test scores as part of an application became optional which led to interesting questions about the impact of standardized test scores on admission decisions. We developed and analyzed AI models to understand which variables are important in admissions decisions, and how the decision to exclude test scores affects the demographics of the students who are admitted. We then evaluated the predictive models to detect and analyze biases these models may carry with respect to three variables chosen to represent sensitive populations: gender, race, and whether a student was the first in his or her family to attend college. We also extended our analysis to show that the biases detected were persistent. Finally, we included several fairness metrics in our analysis and discussed the uses and limitations of these metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL