Everything, Everywhere All in One Evaluation: Using Multiverse Analysis to Evaluate the Influence of Model Design Decisions on Algorithmic Fairness

要約

世界中の膨大な数のシステムが、アルゴリズムによる意思決定 (ADM) を使用して、これまで人間が行っていた意思決定を (部分的に) 自動化しています。
これらのシステムを適切に設計すると、大量のリソースを節約し、人間の時間を解放しながら、より客観的な意思決定が可能になります。
ただし、ADM システムが適切に設計されていない場合、社会集団を差別する不公平な決定につながる可能性があります。
データのバイアスはモデリング パイプラインに沿って緩和または強化できるため、ADM の下流への影響は、システムの設計および実装中に行われる決定に大きく依存します。
これらの設計上の決定の多くは、最終的なシステムにどのような影響を与えるかを正確に知ることなく暗黙的に行われます。
したがって、ADM システムの設計中に行われた決定を明確にし、これらの決定が結果として得られるシステムの公平性にどのような影響を与えるかを理解することが重要です。
この問題を研究するために、私たちは心理学の分野からの洞察を利用し、アルゴリズムの公平性を図るための多元宇宙分析の方法を導入します。
私たちが提案する方法では、暗黙的な設計決定を明示的な決定に変え、その公平性への影響を実証します。
決定を組み合わせることで、考えられるすべての決定の組み合わせの「ユニバース」のグリッドを作成します。
これらのユニバースごとに、公平性とパフォーマンスのメトリクスを計算します。
結果のデータセットを使用すると、どの決定が公平性にどのように影響するかを確認できます。
私たちは、潜在的な介入に対する脆弱な集団の公衆衛生範囲を予測する例示的なケーススタディを使用して、アルゴリズムの公平性の変動性と堅牢性をよりよく理解するために多元解析をどのように使用できるかを示します。
私たちの結果は、機械学習システムの設計中の決定がその公平性にどのように驚くべき影響を与える可能性があるか、そして多元世界分析を使用してこれらの影響を検出する方法を示しています。

要約(オリジナル)

A vast number of systems across the world use algorithmic decision making (ADM) to (partially) automate decisions that have previously been made by humans. When designed well, these systems promise more objective decisions while saving large amounts of resources and freeing up human time. However, when ADM systems are not designed well, they can lead to unfair decisions which discriminate against societal groups. The downstream effects of ADMs critically depend on the decisions made during the systems’ design and implementation, as biases in data can be mitigated or reinforced along the modeling pipeline. Many of these design decisions are made implicitly, without knowing exactly how they will influence the final system. It is therefore important to make explicit the decisions made during the design of ADM systems and understand how these decisions affect the fairness of the resulting system. To study this issue, we draw on insights from the field of psychology and introduce the method of multiverse analysis for algorithmic fairness. In our proposed method, we turn implicit design decisions into explicit ones and demonstrate their fairness implications. By combining decisions, we create a grid of all possible ‘universes’ of decision combinations. For each of these universes, we compute metrics of fairness and performance. Using the resulting dataset, one can see how and which decisions impact fairness. We demonstrate how multiverse analyses can be used to better understand variability and robustness of algorithmic fairness using an exemplary case study of predicting public health coverage of vulnerable populations for potential interventions. Our results illustrate how decisions during the design of a machine learning system can have surprising effects on its fairness and how to detect these effects using multiverse analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google