Bias in Evaluation Processes: An Optimization-Based Model

要約

個人の社会的に顕著な属性に関するバイアスは、入学や採用などの環境で使用される評価プロセスで十分に文書化されています。
私たちは、このような評価プロセスを、タスクに対する個人の真の有用性の分布を観察された分布に変換するものと見なし、それを情報制約に従う損失最小化問題の解決策としてモデル化します。
私たちのモデルには、情報制約におけるリソースと情報のトレードオフ パラメーターと損失関数におけるリスク回避パラメーターという、バイアスにつながる要因として特定された 2 つのパラメーターがあります。
私たちはモデルから生じる分布の特徴を明らかにし、観察された分布に対するパラメーターの影響を研究します。
私たちのモデルの出力は、観察された評価におけるグループ間の変動を捕捉するために使用できる分布のクラスを強化します。
私たちは現実世界のデータセットを当てはめることによってモデルを経験的に検証し、それを下流の選択タスクにおける介入の効果を研究するために使用します。
これらの結果は、評価プロセスにおけるバイアスの出現の理解に貢献し、バイアスを軽減するための介入の展開をガイドするツールを提供します。

要約(オリジナル)

Biases with respect to socially-salient attributes of individuals have been well documented in evaluation processes used in settings such as admissions and hiring. We view such an evaluation process as a transformation of a distribution of the true utility of an individual for a task to an observed distribution and model it as a solution to a loss minimization problem subject to an information constraint. Our model has two parameters that have been identified as factors leading to biases: the resource-information trade-off parameter in the information constraint and the risk-averseness parameter in the loss function. We characterize the distributions that arise from our model and study the effect of the parameters on the observed distribution. The outputs of our model enrich the class of distributions that can be used to capture variation across groups in the observed evaluations. We empirically validate our model by fitting real-world datasets and use it to study the effect of interventions in a downstream selection task. These results contribute to an understanding of the emergence of bias in evaluation processes and provide tools to guide the deployment of interventions to mitigate biases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google